DB-GPT支持了vLLM推理，vLLM是一个快速且易于使用的LLM推理和服务库。

安装依赖

vLLM在DB-GPT当中是可以可选择的依赖项，你可以通过如下的命令手动安装。

  1. $ pip install -e ".[vllm]"

修改配置文件

在.env配置文件中，修改模型的推理类型，即可启动vllm推理

  1. LLM_MODEL=vicuna-13b-v1.5
  2. MODEL_TYPE=vllm

更多关于vLLM支持的模型列表，可以参看vLLM支持模型文档