什么是小程序云

小程序云是蚂蚁集团提供的以云原生高可用为基础，无需服务器、免运维、高并发业务支撑的小程序上云解决方案。1分钟即可部署支付宝开放产品服务端，支持多端小程序、自研App生态服务。

目前将DB-GPT集成到了服务市场，可方便用户快速体验DB-GPT服务

:::color1 更多详情可查看官方主页

:::

服务配置信息

DB-GPT 服务为单机版部署的有状态服务，分为GPU和CPU两个版本，默认配置信息如下：

  • CPU版本：无需GPU，需要调用第三方模型服务
参数 配置
服务类型 有状态
实例数量 1
容器规格 默认4C8G（无GPU），建议最低2C4G
持久卷 默认meta卷20G、data卷和models卷为50G
服务端口 5000
服务探活 脚本命令: echo
服务镜像 registry.cloudrun.cloudbaseapp.cn/cloudrun/dbgpt-cpu:v0.4.1-cloud-1
服务说明 无需GPU，需要远程调用第三方模型服务，如：OpenAI、文心、通义等大模型API接口
tips：商用模型接口需要申请Api Key
  • GPU版本：需要GPU，本地可加载大模型
参数 配置
服务类型 有状态
实例数量 1
容器规格 16核80G
GPU：A10
持久卷 3个，默认50G
服务端口 5000
服务探活 脚本命令: echo
服务镜像
服务说明 本地大模型chatglm2-6b，可根据自身需求拓展其他开源大模型，如：llama2、vicuna-13b、baichuan-7b等

服务部署

DB-GPT可支持CPU和GPU两种模式部署，用户可根据自己情况进行选择

CPU部署

  • CPU部署：直接通过服务市场，选择dbgpt-cpu镜像，可一键拉起DB-GPT服务

小程序云部署 - 图2

说明：CPU版本需要访问第三方模型服务，如果您想使用OpenAI的模型，可以参考开源社区的代理模式

tips：如何使用服务市场一键部署，请参见应用服务市场。

GPU部署

  • GPU部署：通过新建服务，选择dbgpt的公共镜像进行部署（由于开源大模型体积太大，建议手动下载到/app/models上）
    • 新建服务，选择公共镜像 dbgpt-cpu:v0.4.1-cloud-1

小程序云部署 - 图3

  1. - 环境变量和持久卷的配置如下：

小程序云部署 - 图4

说明：GPU版本需要登陆实例，将开源模型下载到本地/app/models/，开源模型可到Huggingface进行下载，如果遇到网络限制，可以进入该地址下载

Web 界面操作

开启公网域名

  1. 登录云托管控制台，在服务列表中，单击服务名，进入服务部署版本页面。
  2. 在服务设置页签下，开启公网测试域名。

说明：公网测试域名仅能支持测试使用，请勿用于线上生产，且公网测试域名没有防刷 DDoS 能力。线上生产环境可配置自定义域名进行访问，如何配置请参见自定义域名。

小程序云部署 - 图5

访问DB-GPT

通过公网域名可以访问到 DB-GPT 的 Web 界面小程序云部署 - 图6

知识库小程序云部署 - 图7

根据自然语言对话生成分析图表

小程序云部署 - 图8

小程序云部署 - 图9

更多DB-GPT的使用详情，请查看社区

相关文档