NL2SQL進階系列(1)：DB-GPT-Hub、SQLcoder、Text2SQL開源應用實踐詳解

NL2SQL進階系列(1)：DB-GPT-Hub、SQLcoder、Text2SQL開源應用實踐詳解

NL2SQL基礎系列(1)：業界頂尖排行榜、權威測評資料集及LLM大模型（Spider vs BIRD）全面對比優劣分析[Text2SQL、Text2DSL]

NL2SQL基礎系列(2)：主流大模型與微調方法精選集，Text2SQL經典演算法技術回顧七年發展脈絡梳理

1. MindSQL(庫)

MindSQL 是一個 Python RAG（檢索增強生成）庫，旨在僅使用幾行程式碼來簡化使用者與其資料庫之間的互動。 MindSQL 與 PostgreSQL、MySQL、SQLite 等知名資料庫無縫整合，還透過擴充套件核心類，將其功能擴充套件到 Snowflake、BigQuery 等主流資料庫。 該庫利用 GPT-4、Llama 2、Google Gemini 等大型語言模型 (LLM)，並支援 ChromaDB 和 Fais 等知識庫。

官方連結：https://pypi.org/project/mindsql/

https://github.com/Mindinventory/MindSQL

• 使用案例

#!pip install mindsql

from mindsql.core import MindSQLCore
from mindsql.databases import Sqlite
from mindsql.llms import GoogleGenAi
from mindsql.vectorstores import ChromaDB

#Add Your Configurations
config = {"api_key": "YOUR-API-KEY"}

#Choose the Vector Store. LLM and DB You Want to Work With And
#Create MindSQLCore Instance With Configured Llm, Vectorstore, And Database
minds = MindSQLCore(
    llm=GoogleGenAi(config=config),
    vectorstore=ChromaDB(),
    database=Sqlite()
)

#Create a Database Connection Using The Specified URL
connection = minds.database.create_connection(url="YOUR_DATABASE_CONNECTION_URL")

#Index All Data Definition Language (DDL) Statements in The Specified Database Into The Vectorstore
minds.index_all_ddls(connection=connection, db_name='NAME_OF_THE_DB')

#Index Question-Sql Pair in Bulk From the Specified Example Path
minds.index(bulk=True, path="your-qsn-sql-example.json")

#Ask a Question to The Database And Visualize The Result
response = minds.ask_db(
    question="YOUR_QUESTION",
    connection=connection,
    visualize=True
)

#Extract And Display The Chart From The Response
chart = response["chart"]
chart.show()

#Close The Connection to Your DB
connection.close()

2.DB-GPT-Hub:利用LLMs實現Text-to-SQL微調

DB-GPT-Hub是一個利用LLMs實現Text-to-SQL解析的實驗專案，主要包含資料集收集、資料預處理、模型選擇與構建和微調權重等步驟，透過這一系列的處理可以在提高Text-to-SQL能力的同時降低模型訓練成本，讓更多的開發者參與到Text-to-SQL的準確度提升工作當中，最終實現基於資料庫的自動問答能力，讓使用者可以透過自然語言描述完成複雜資料庫的查詢操作等工作。

2.1、資料集

本專案案例資料主要以Spider資料集為示例 ：

• Spider: 一個跨域的複雜text2sql資料集，包含了10,181條自然語言問句、分佈在200個獨立資料庫中的5,693條SQL，內容覆蓋了138個不同的領域。下載連結

其他資料集：

• WikiSQL: 一個大型的語義解析資料集，由80,654個自然語句表述和24,241張表格的sql標註構成。WikiSQL中每一個問句的查詢範圍僅限於同一張表，不包含排序、分組、子查詢等複雜操作。
• CHASE: 一個跨領域多輪互動text2sql中文資料集，包含5459個多輪問題組成的列表，一共17940個<query, SQL>二元組，涉及280個不同領域的資料庫。
• BIRD-SQL：資料集是一個英文的大規模跨領域文字到SQL基準測試，特別關注大型資料庫內容。該資料集包含12,751對文字到SQL資料對和95個資料庫，總大小為33.4GB，跨越37個職業領域。BIRD-SQL資料集透過探索三個額外的挑戰，即處理大規模和混亂的資料庫值、外部知識推理和最佳化SQL執行效率，縮小了文字到SQL研究與實際應用之間的差距。
• CoSQL:是一個用於構建跨域對話文字到sql系統的語料庫。它是Spider和SParC任務的對話版本。CoSQL由30k+回合和10k+帶註釋的SQL查詢組成，這些查詢來自Wizard-of-Oz的3k個對話集合，查詢了跨越138個領域的200個複雜資料庫。每個對話都模擬了一個真實的DB查詢場景，其中一個工作人員作為使用者探索資料庫，一個SQL專家使用SQL檢索答案，澄清模稜兩可的問題，或者以其他方式通知。
• 按照NSQL的處理模板，對資料集做簡單處理，共得到約20w條訓練資料

2.2、基座模型

DB-GPT-HUB目前已經支援的base模型有：

• CodeLlama
• Baichuan2
• LLaMa/LLaMa2
• Falcon
• Qwen
• XVERSE
• ChatGLM2
• ChatGLM3
• internlm
• Falcon
• sqlcoder-7b(mistral)
• sqlcoder2-15b(starcoder)

模型可以基於quantization_bit為4的量化微調(QLoRA)所需的最低硬體資源,可以參考如下：

模型引數	GPU RAM	CPU RAM	DISK
7b	6GB	3.6GB	36.4GB
13b	13.4GB	5.9GB	60.2GB

其中相關引數均設定的為最小，batch_size為1，max_length為512。根據經驗，如果計算資源足夠，為了效果更好，建議相關長度值設定為1024或者2048。

2.3 快速使用

• 環境安裝

git clone https://github.com/eosphoros-ai/DB-GPT-Hub.git
cd DB-GPT-Hub
conda create -n dbgpt_hub python=3.10 
conda activate dbgpt_hub
pip install poetry
poetry install

2.3.1 資料預處理

DB-GPT-Hub使用的是資訊匹配生成法進行資料準備，即結合表資訊的 SQL + Repository 生成方式，這種方式結合了資料表資訊，能夠更好地理解資料表的結構和關係，適用於生成符合需求的 SQL 語句。
從spider資料集連結 下載spider資料集，預設將資料下載解壓後，放在目錄dbgpt_hub/data下面，即路徑為dbgpt_hub/data/spider。

資料預處理部分，只需執行如下指令碼即可：

##生成train資料 和dev(eval)資料,
poetry run sh dbgpt_hub/scripts/gen_train_eval_data.sh

在dbgpt_hub/data/目錄你會得到新生成的訓練檔案example_text2sql_train.json 和測試檔案example_text2sql_dev.json ，資料量分別為8659和1034條。 對於後面微調時的資料使用在dbgpt_hub/data/dataset_info.json中將引數file_name值給為訓練集的檔名，如example_text2sql_train.json。

生成的json中的資料形如：

    {
        "db_id": "department_management",
        "instruction": "I want you to act as a SQL terminal in front of an example database, you need only to return the sql command to me.Below is an instruction that describes a task, Write a response that appropriately completes the request.\n\"\n##Instruction:\ndepartment_management contains tables such as department, head, management. Table department has columns such as Department_ID, Name, Creation, Ranking, Budget_in_Billions, Num_Employees. Department_ID is the primary key.\nTable head has columns such as head_ID, name, born_state, age. head_ID is the primary key.\nTable management has columns such as department_ID, head_ID, temporary_acting. department_ID is the primary key.\nThe head_ID of management is the foreign key of head_ID of head.\nThe department_ID of management is the foreign key of Department_ID of department.\n\n",
        "input": "###Input:\nHow many heads of the departments are older than 56 ?\n\n###Response:",
        "output": "SELECT count(*) FROM head WHERE age  >  56",
        "history": []
    }, 

專案的資料處理程式碼中已經巢狀了chase 、cosql、sparc的資料處理，可以根據上面連結將資料集下載到data路徑後，在dbgpt_hub/configs/config.py中將 SQL_DATA_INFO中對應的程式碼註釋鬆開即可。

2.3.2 快速開始

首先，用如下命令安裝dbgpt-hub：

pip install dbgpt-hub

然後，指定引數並用幾行程式碼完成整個Text2SQL fine-tune流程：

from dbgpt_hub.data_process import preprocess_sft_data
from dbgpt_hub.train import start_sft
from dbgpt_hub.predict import start_predict
from dbgpt_hub.eval import start_evaluate

#配置訓練和驗證集路徑和引數
data_folder = "dbgpt_hub/data"
data_info = [
        {
            "data_source": "spider",
            "train_file": ["train_spider.json", "train_others.json"],
            "dev_file": ["dev.json"],
            "tables_file": "tables.json",
            "db_id_name": "db_id",
            "is_multiple_turn": False,
            "train_output": "spider_train.json",
            "dev_output": "spider_dev.json",
        }
]

#配置fine-tune引數
train_args = {
            "model_name_or_path": "codellama/CodeLlama-13b-Instruct-hf",
            "do_train": True,
            "dataset": "example_text2sql_train",
            "max_source_length": 2048,
            "max_target_length": 512,
            "finetuning_type": "lora",
            "lora_target": "q_proj,v_proj",
            "template": "llama2",
            "lora_rank": 64,
            "lora_alpha": 32,
            "output_dir": "dbgpt_hub/output/adapter/CodeLlama-13b-sql-lora",
            "overwrite_cache": True,
            "overwrite_output_dir": True,
            "per_device_train_batch_size": 1,
            "gradient_accumulation_steps": 16,
            "lr_scheduler_type": "cosine_with_restarts",
            "logging_steps": 50,
            "save_steps": 2000,
            "learning_rate": 2e-4,
            "num_train_epochs": 8,
            "plot_loss": True,
            "bf16": True,
}

#配置預測引數
predict_args = {
            "model_name_or_path": "codellama/CodeLlama-13b-Instruct-hf",
            "template": "llama2",
            "finetuning_type": "lora",
            "checkpoint_dir": "dbgpt_hub/output/adapter/CodeLlama-13b-sql-lora",
            "predict_file_path": "dbgpt_hub/data/eval_data/dev_sql.json",
            "predict_out_dir": "dbgpt_hub/output/",
            "predicted_out_filename": "pred_sql.sql",
}

#配置評估引數
evaluate_args =  {
            "input": "./dbgpt_hub/output/pred/pred_sql_dev_skeleton.sql",
            "gold": "./dbgpt_hub/data/eval_data/gold.txt",
            "gold_natsql": "./dbgpt_hub/data/eval_data/gold_natsql2sql.txt",
            "db": "./dbgpt_hub/data/spider/database",
            "table": "./dbgpt_hub/data/eval_data/tables.json",
            "table_natsql": "./dbgpt_hub/data/eval_data/tables_for_natsql2sql.json",
            "etype": "exec",
            "plug_value": True,
            "keep_distict": False,
            "progress_bar_for_each_datapoint": False,
            "natsql": False,
}

#執行整個Fine-tune流程
preprocess_sft_data(
      data_folder = data_folder,
      data_info = data_info
)

start_sft(train_args)
start_predict(predict_args)
start_evaluate(evaluate_args)

2.3.3、模型微調

本專案微調不僅能支援QLoRA和LoRA法，還支援deepseed。 可以執行以下命令來微調模型，預設帶著引數--quantization_bit 為QLoRA的微調方式，如果想要轉換為lora的微調，只需在指令碼中去掉quantization_bit引數即可。
預設QLoRA微調，執行命令：

poetry run sh dbgpt_hub/scripts/train_sft.sh

微調後的模型權重會預設儲存到adapter資料夾下面，即dbgpt_hub/output/adapter目錄中。
如果使用多卡訓練，想要用deepseed ，則將train_sft.sh中預設的內容進行更改，
調整為：

CUDA_VISIBLE_DEVICES=0 python dbgpt_hub/train/sft_train.py \
    --quantization_bit 4 \
    ...

更改為：

deepspeed --num_gpus 2  dbgpt_hub/train/sft_train.py \
    --deepspeed dbgpt_hub/configs/ds_config.json \
    --quantization_bit 4 \
    ...

如果需要指定對應的顯示卡id而不是預設的前兩個如3,4，可以如下

deepspeed --include localhost:3,4  dbgpt_hub/train/sft_train.py \
    --deepspeed dbgpt_hub/configs/ds_config.json \
    --quantization_bit 4 \
    ...

其他省略(...)的部分均保持一致即可。 如果想要更改預設的deepseed配置，進入 dbgpt_hub/configs 目錄，在ds_config.json 更改即可，預設為stage2的策略。

指令碼中微調時不同模型對應的關鍵引數lora_target 和 template，如下表：

模型名	lora_target	template
LLaMA-2	q_proj,v_proj	llama2
CodeLlama-2	q_proj,v_proj	llama2
Baichuan2	W_pack	baichuan2
Qwen	c_attn	chatml
sqlcoder-7b	q_proj,v_proj	mistral
sqlcoder2-15b	c_attn	default
InternLM	q_proj,v_proj	intern
XVERSE	q_proj,v_proj	xverse
ChatGLM2	query_key_value	chatglm2
LLaMA	q_proj,v_proj	-
BLOOM	query_key_value	-
BLOOMZ	query_key_value	-
Baichuan	W_pack	baichuan
Falcon	query_key_value	-

train_sft.sh中其他關鍵引數含義：

quantization_bit：是否量化，取值為[4或者8]
model_name_or_path： LLM模型的路徑
dataset： 取值為訓練資料集的配置名字，對應在dbgpt_hub/data/dataset_info.json 中外層key值，如example_text2sql。
max_source_length： 輸入模型的文字長度，如果計算資源支援，可以盡能設大，如1024或者2048。
max_target_length： 輸出模型的sql內容長度，設定為512一般足夠。
output_dir ： SFT微調時Peft模組輸出的路徑，預設設定在dbgpt_hub/output/adapter/路徑下 。
per_device_train_batch_size ： batch的大小，如果計算資源支援，可以設定為更大，預設為1。
gradient_accumulation_steps ： 梯度更新的累計steps值
save_steps ： 模型儲存的ckpt的steps大小值，預設可以設定為100。
num_train_epochs ： 訓練資料的epoch數

2.3.4、模型預測

專案目錄下./dbgpt_hub/下的output/pred/，此檔案路徑為關於模型預測結果預設輸出的位置(如果沒有則建上)。
預測執行命令：

poetry run sh ./dbgpt_hub/scripts/predict_sft.sh

指令碼中預設帶著引數--quantization_bit 為QLoRA的預測，去掉即為LoRA的預測方式。
其中引數predicted_input_filename 為要預測的資料集檔案， --predicted_out_filename 的值為模型預測的結果檔名。預設結果儲存在dbgpt_hub/output/pred目錄。

2.3.5、模型權重

可以從Huggingface檢視社群上傳的第二版Peft模組權重huggingface地址 (202310) ,在spider評估集上的執行準確率達到0.789。

• 模型和微調權重合並
  如果你需要將訓練的基礎模型和微調的Peft模組的權重合並，匯出一個完整的模型。則執行如下模型匯出指令碼：

poetry run sh ./dbgpt_hub/scripts/export_merge.sh

注意將指令碼中的相關引數路徑值替換為你專案所對應的路徑。

2.3.6、模型評估

對於模型在資料集上的效果評估,預設為在spider資料集上。
執行以下命令來：

poetry run python dbgpt_hub/eval/evaluation.py --plug_value --input  Your_model_pred_file

你可以在這裡找到最新的評估和實驗結果。
注意： 預設的程式碼中指向的資料庫為從Spider官方網站下載的大小為95M的database，如果你需要使用基於Spider的test-suite中的資料庫(大小1.27G)，請先下載連結中的資料庫到自定義目錄，並在上述評估命令中增加引數和值，形如--db Your_download_db_path。

2.4 小結

整個過程會分為三個階段：

• 階段一:

  • 搭建基本框架，基於數個大模型打通從資料處理、模型SFT訓練、預測輸出和評估的整個流程
    現在支援
  • CodeLlama
  • Baichuan2
  • LLaMa/LLaMa2
  • Falcon
  • Qwen
  • XVERSE
  • ChatGLM2
  • ChatGLM3
  • internlm
  • sqlcoder-7b(mistral)
  • sqlcoder2-15b(starcoder)

• 階段二:

  • 最佳化模型效果，支援更多不同模型進行不同方式的微調。
  • 對prompt最佳化
  • 放出評估效果，和最佳化後的還不錯的模型，並且給出復現教程(見微信公眾號EosphorosAI)

• 階段三：

  • 推理速度最佳化提升
  • 業務場景和中文效果針對性最佳化提升

3.sqlcoder

官方連結：https://github.com/defog-ai/sqlcoder

Defog組織提出的先進的Text-to-SQL的大模型，表現亮眼，效果優於GPT3.5、wizardcoder和starcoder等，僅次於GPT4。

將每個生成的問題分為6類。該表顯示了每個模型正確回答問題的百分比，並按類別進行了細分。

4.modal_finetune_sql

專案基於LLaMa 2 7b模型進行Text-to-SQL微調，有完整的訓練、微調、評估流程。

連結：https://github.com/run-llama/modal_finetune_sql

5.LLaMA-Efficient-Tuning

這是一個易於使用的LLM微調框架，支援LLaMA-2、BLOOM、Falcon、Baichuan、Qwen、ChatGLM2等。

連結：https://github.com/hiyouga/LLaMA-Factory/tree/main

• 多種模型：LLaMA、Mistral、Mixtral-MoE、Qwen、Yi、Gemma、Baichuan、ChatGLM、Phi 等等。
• 整合方法：（增量）預訓練、指令監督微調、獎勵模型訓練、PPO 訓練、DPO 訓練和 ORPO 訓練。
• 多種精度：32 位元全引數微調、16 位元凍結微調、16 位元 LoRA 微調和基於 AQLM/AWQ/GPTQ/LLM.int8 的 2/4/8 位元 QLoRA 微調。
• 先進演算法：GaLore、DoRA、LongLoRA、LLaMA Pro、LoRA+、LoftQ 和 Agent 微調。
• 實用技巧：FlashAttention-2、Unsloth、RoPE scaling、NEFTune 和 rsLoRA。
• 實驗監控：LlamaBoard、TensorBoard、Wandb、MLflow 等等。
• 極速推理：基於 vLLM 的 OpenAI 風格 API、瀏覽器介面和命令列介面。

• 訓練方法

方法	全引數訓練	部分引數訓練	LoRA	QLoRA
預訓練	✔	✔	✔	✔
指令監督微調	✔	✔	✔	✔
獎勵模型訓練	✔	✔	✔	✔
PPO 訓練	✔	✔	✔	✔
DPO 訓練	✔	✔	✔	✔
ORPO 訓練	✔	✔	✔	✔

• 視覺化使用教學

https://github.com/hiyouga/LLaMA-Factory/assets/16256802/ec36a9dd-37f4-4f72-81bd-d76c6d0a6594

• 參考連結

• Awesome Text2SQL：https://github.com/eosphoros-ai/Awesome-Text2SQL/blob/main/README.zh.md

更多優質內容請關注公號：汀丶人工智慧；會提供一些相關的資源和優質文章，免費獲取閱讀。