bilibili

DB-GPT支持多种开源以及闭源模型的安装使用，不同模型对环境与资源的需求也不相同。 如果需要进行本地化模型部署，则需要GPU资源进行部署。 通过API代理模型所需要的资源会相对较少，可在CPU机器上进行部署启动。

:::color3 详细的安装部署教程可参见安装部署，快速开始只介绍基于ChatGPT代理与本地GLM-4模型的部署

:::

环境准备

源码下载

:::color2 下载DB-GPT源码

:::

git clone https://github.com/eosphoros-ai/DB-GPT.git

Miniconda环境安装

默认数据库使用SQLite，因此默认启动模式下，无需安装数据库。 如果需要使用其他数据库，可以看后面的高级教程。 我们推荐通过conda的虚拟环境来进行Python虚拟环境的安装。关于Miniconda环境的安装，可以参见Miniconda安装教程。

:::color2 创建Python虚拟环境

:::

python >= 3.10
conda create -n dbgpt_env python=3.10
conda activate dbgpt_env
# it will take some minutes
pip install -e ".[default]"

:::color2 复制环境变量

:::

cp .env.template  .env

模型部署

:::color4 以下两种部署方式二选一即可快速开始体验DB-GPT

:::

方式一、OpenAI代理模式部署

:::warning ⚠️ 注意: 需要确保安装了git-lfs

• CentOS安装: yum install git-lfs
• Ubuntu安装: apt-get install git-lfs
• MacOS安装: brew install git-lfs

:::

1. 安装依赖

pip install  -e ".[openai]"

1. 下载Embedding 模型

cd DB-GPT
mkdir models and cd models
git clone https://www.modelscope.cn/Jerry0/text2vec-large-chinese.git

1. 配置代理，在.env文件中修改LLM_MODEL, PROXY_API_URL and API_KEY

LLM_MODEL=chatgpt_proxyllm
PROXY_API_KEY={your-openai-sk}
PROXY_SERVER_URL=https://api.openai.com/v1/chat/completions

https://www.modelscope.cn/models/Qwen/Qwen2.5-14B-Instruct

方式二、GLM-4-9b本地部署

1. 硬件需求说明

:::warning 说明: 同样也可以使用qwen2.5系列模型进行部署，优先选择在评测榜单中效果更好的模型。

:::

1. 模型下载

:::danger ⚠️ 注意：如果下载模型有问题，可以使用Huggingface镜像站

:::

cd DB-GPT
mkdir models and cd models
#### embedding model
git clone https://www.modelscope.cn/Jerry0/text2vec-large-chinese.git
或者
git clone https://www.modelscope.cn/AI-ModelScope/m3e-large.git
#### llm model, if you use openai or Azure or tongyi llm api service, you don't need to download llm model
git clone https://www.modelscope.cn/ZhipuAI/glm-4-9b-chat.git

1. 环境变量配置, 配置LLM_MODEL参数在 .env 文件中

LLM_MODEL=glm-4-9b-chat

测试数据(可选)

加载默认的测试数据到SQLite数据库中

:::color1 Linux&Unix平台

:::

bash ./scripts/examples/load_examples.sh

:::color1 Windows平台

:::

.\scripts\examples\load_examples.bat

运行服务

python dbgpt/app/dbgpt_server.py
# 说明: v0.4.4 版本进行了代码与架构重构, v0.4.3(含) 之前的版本运行命令如下
# python pilot/server/dbgpt_server.py

:::danger 特殊说明⚠️: v0.4.3及以前版本运行服务命令为: python pilot/server/dbgpt_server.py

:::

访问

:::success 打开浏览器访问 http://localhost:5670

注⚠️： v0.5.4之前版本端口为5000， http://localhost:5000

具体端口配置查看.env文件中WEB_SERVER_PORT=5670配置

:::