Text2SQL相关微调的代码，我们拆分到了DB-GPT-Hub子项目当中，也可以直接查看源码。

微调流程

Text2SQL微调主要包含以下流程:

• 搭建环境
• 数据处理
• SFT训练
• 权重合并
• 模型预测
• 效果评估

环境搭建

我们推荐使用conda虚拟环境 来搭建Text2SQL微调的环境

git clone https://github.com/eosphoros-ai/DB-GPT-Hub.git
cd DB-GPT-Hub
conda create -n dbgpt_hub python=3.10 
conda activate dbgpt_hub
conda install -c conda-forge poetry>=1.4.0
poetry install

当前项目支持多种基座模型，可以按需下载。本教程中我们以<font style="color:rgba(0, 0, 0, 0.9);">CodeLlama-13b-Instruct-hf</font>为基座模型，模型可以从HuggingFace、魔搭 等平台下载。以HuggingFace为例, 下载命令为:

cd Your_model_dir
git lfs install
git clone git@hf.co:codellama/CodeLlama-13b-Instruct-hf

数据处理

数据收集

本教程案例数据主要以 Spider 数据集为示例 ：

• 简介：Spider 数据集是一个跨域的复杂 text2sql 数据集，包含了自然语言问句和分布在 200 个独立数据库中的多条 SQL，内容覆盖了 138 个不同的领域。
• 下载：下载数据集到项目目录, 即位于<font style="color:rgba(0, 0, 0, 0.9);">dbgpt_hub/data/spider</font>中。

数据处理

{
  "db_id": "department_management",
  "instruction": "I want you to act as a SQL terminal in front of an example database, you need only to return the sql command to me.Below is an instruction that describes a task, Write a response that appropriately completes the request.\n\"\n##Instruction:\ndepartment_management contains tables such as department, head, management. Table department has columns such as Department_ID, Name, Creation, Ranking, Budget_in_Billions, Num_Employees. Department_ID is the primary key.\nTable head has columns such as head_ID, name, born_state, age. head_ID is the primary key.\nTable management has columns such as department_ID, head_ID, temporary_acting. department_ID is the primary key.\nThe head_ID of management is the foreign key of head_ID of head.\nThe department_ID of management is the foreign key of Department_ID of department.\n\n",
  "input": "###Input:\nHow many heads of the departments are older than 56 ?\n\n###Response:",
  "output": "SELECT count(*) FROM head WHERE age  >  56",
  "history": []
}

数据处理代码逻辑

<font style="color:rgba(0, 0, 0, 0.9);">decode_json_file() </font>首先将 Spider 数据中的 table 信息处理成为字典格式，key 和 value 分别是 db_id 和该 db_id 对应的 table、columns 信息处理成所需的格式，例如：

{
  "department_management": department_management contains tables such as department, head, management. Table department has columns such as Department_ID, Name, Creation, Ranking, Budget_in_Billions, Num_Employees. Department_ID is the primary key.\nTable head has columns such as head_ID, name, born_state, age. head_ID is the primary key.\nTable management has columns such as department_ID, head_ID, temporary_acting. department_ID is the primary key.\nThe head_ID of management is the foreign key of head_ID of head.\nThe department_ID of management is the foreign key of Department_ID of department.
}

INSTRUCTION_PROMPT = "I want you to act as a SQL terminal in front of an example database, you need only to return the sql command to me.Below is an instruction that describes a task, Write a response that appropriately completes the request.\n ##Instruction:\n{}\n"

:::success 说明： 如果你想自己收集更多数据进行训练，可以利用本项目相关代码参照如上逻辑进行处理。

:::

SFT训练

CUDA_VISIBLE_DEVICES=0 python dbgpt_hub/train/sft_train.py \
    --model_name_or_path Your_download_CodeLlama-13b-Instruct-hf_path \
    --do_train \
    --dataset example_text2sql_train \
    --max_source_length 2048 \
    --max_target_length 512 \
    --finetuning_type lora \
    --lora_target q_proj,v_proj \
    --template llama2 \
    --lora_rank 64 \
    --lora_alpha 32 \
    --output_dir dbgpt_hub/output/adapter/code_llama-13b-2048_epoch8_lora \
    --overwrite_cache \
    --overwrite_output_dir \
    --per_device_train_batch_size 1 \
    --gradient_accumulation_steps 16 \
    --lr_scheduler_type cosine_with_restarts \
    --logging_steps 50 \
    --save_steps 2000 \
    --learning_rate 2e-4 \
    --num_train_epochs 8 \
    --plot_loss \
    --bf16

:::color1 train_sft.sh 中关键参数与含义介绍：

• model_name_or_path ：所用 LLM 模型的路径。
• dataset ：取值为训练数据集的配置名字，对应在 dbgpt_hub/data/dataset_info.json 中外层 key 值，如 example_text2sql。
• max_source_length ：输入模型的文本长度，本教程的效果参数为 2048，为多次实验与分析后的最佳长度。
• max_target_length ：输出模型的 sql 内容长度，设置为 512。
• template：项目设置的不同模型微调的 lora 部分，对于 Llama2 系列的模型均设置为 llama2。
• lora_target ：LoRA 微调时的网络参数更改部分。
• finetuning_type : 微调类型，取值为 [ ptuning、lora、freeze、full ] 等。
• lora_rank : LoRA 微调中的秩大小。
• loran_alpha: LoRA 微调中的缩放系数。
• output_dir ：SFT 微调时 Peft 模块输出的路径，默认设置在 dbgpt_hub/output/adapter/路径下 。
• per_device_train_batch_size ：每张 gpu 上训练样本的批次，如果计算资源支持，可以设置为更大，默认为 1。
• gradient_accumulation_steps ：梯度更新的累计steps值。
• lr_scheduler_type ：学习率类型。
• logging_steps ：日志保存的 steps 间隔。
• save_steps ：模型保存的 ckpt 的 steps 大小值。
• num_train_epochs ：训练数据的 epoch 数。
• learning_rate : 学习率，推荐的学习率为 2e-4。

:::

合并权重

模型预测

模型训练结束后，对训练好的模型进行预测，可以直接运行项目脚本目录中的predict_sft.sh。
预测运行命令：

sh ./dbgpt_hub/scripts/predict_sft.sh

echo " predict Start time: $(date)"
## predict
CUDA_VISIBLE_DEVICES=0 python dbgpt_hub/predict/predict.py \
    --model_name_or_path Your_download_CodeLlama-13b-Instruct-hf_path \
    --template llama2 \
    --finetuning_type lora \
    --checkpoint_dir Your_last_peft_checkpoint-4000  \
    --predicted_out_filename Your_model_pred.sql
echo "predict End time: $(date)"

效果评估

python dbgpt_hub/eval/evaluation.py --plug_value --input  Your_model_pred.sql

由于大模型生成的结果具有一定的随机性，和 temperature 等参数密切相关(可以在 /dbgpt_hub/configs/model_args.py 中的 GeneratingArguments 中进行调整）。在项目默认情况下，我们多次评估的效果，执行准确率均在 0.789 及以上。部分实验和评测结果我们已经放在项目 docs/eval_llm_result.md中，仅供参考。

DB-GPT-Hub 基于 CodeLlama-13b-Instruct-hf大模型用 LoRA 在 Spider 的训练集上微调后的权重文件已经放出，目前在 spider 的评估集上实现了约为 0.789 的执行准确率，权重文件CodeLlama-13b-sql-lora 在 HuggingFace 上可以找到。

附录说明