多模型管理

DB-GPT项目中提供了服务化的多模型管理能力，对相关能力感兴趣的同学可以阅读SMMF模块部分。这里重点介绍一下，如何使用多模型。

这里我们主要介绍通过Web界面使用，对命令行感兴趣的同学，可以参考集群部署模型。 打开DB-GPT-Web前端服务，点击模型管理, 即可进入到多模型管理界面。

模型列表

打开模型管理界面，我们即可看到当前已部署好的模型列表， 如下是通过代理的方式接入的模型列表。

模型使用

模型部署好之后，即可在多模型界面选择对应的模型进行切换使用。

模型停止

如下图所示，点击模型管理进入到模型列表界面。 选择具体的模型点击红色Stop Model 按钮，即可停止模型。

模型停止成功之后，右上角的显示会发生变化。

模型部署

1. 打开 Web 页面，点击左侧模型管理按钮，进入模型列表页面，点左上角的创建模型，然后在弹出的对话框中选择你要部署的模型名称，这里我们选择 “vicuna-7b-v1.5”，如图：

1. 根据实际部署的模型的情况选择适当的参数（不确定默认即可），然后点击对话框左下方的 “Submit” 按钮，等等模型部署成功即可
2. 新模型部署完成后在模型页面即可看到新部署的模型，如图：

运维与可观测性

运维和可观测性是一个生产系统中的重要组成部分。在运维能力方面，DB-GPT 除了能在 Web 页面中对系统进行一些常用管理，还提供了一个命令行工具dbgpt来进行运维和管理，该命令行工具主要包括以下方面：

• 启停各类服务
• 知识库的管理（批量导入、自定义导入、查看知识库文档和删除知识库文档等）
• 模型管理（查看和启停模型以及在命令行进行对话调试等）
• 可观测性工具（查看和分析可观测性日志）

这里我们不展开介绍命令行工具的使用，您可以根据 dbgpt --help命令来获取具体的使用文档，另外，也可以查看子命令的使用文档，例如通过 dbgpt start --help 来查看启动服务的文档。 详细可以参照下面的文档。

• 调试(Debugging)