**✨**新特性

  1. **DB-GPT**支持**SiliconCloud**模型,让用户体验到**SiliconCloud**多模型的管理能力。

如何使用:

  • 修改环境变量文件<font style="color:rgb(17, 24, 39);">.env</font>,配置 <font style="color:rgb(17, 24, 39);">SiliconCloud</font> 模型
  1. # 使用 SiliconCloud 的代理模型
  2. LLM_MODEL=siliconflow_proxyllm
  3. # 配置具体使用的模型名称
  4. SILICONFLOW_MODEL_VERSION=Qwen/Qwen2.5-Coder-32B-Instruct
  5. SILICONFLOW_API_BASE=https://api.siliconflow.cn/v1
  6. # 记得填写您在步骤2中获取的 API Key
  7. SILICONFLOW_API_KEY={your-siliconflow-api-key}
  8. # 配置使用 SiliconCloud 的 Embedding 模型
  9. EMBEDDING_MODEL=proxy_http_openapi
  10. PROXY_HTTP_OPENAPI_PROXY_SERVER_URL=https://api.siliconflow.cn/v1/embeddings
  11. # 记得填写您在步骤2中获取的 API Key
  12. PROXY_HTTP_OPENAPI_PROXY_API_KEY={your-siliconflow-api-key}
  13. # 配置具体的 Embedding 模型名称
  14. PROXY_HTTP_OPENAPI_PROXY_BACKEND=BAAI/bge-large-zh-v1.5
  15. # 配置使用 SiliconCloud 的 rerank 模型
  16. RERANK_MODEL=rerank_proxy_siliconflow
  17. RERANK_PROXY_SILICONFLOW_PROXY_SERVER_URL=https://api.siliconflow.cn/v1/rerank
  18. # 记得填写您在步骤2中获取的 API Key
  19. RERANK_PROXY_SILICONFLOW_PROXY_API_KEY={your-siliconflow-api-key}
  20. # 配置具体的 rerank 模型名称
  21. RERANK_PROXY_SILICONFLOW_PROXY_BACKEND=BAAI/bge-reranker-v2-m3

注意,上述的语言模型**SILICONFLOW_MODEL_VERSION**)、 Embedding 模型(**PROXY_HTTP_OPENAPI_PROXY_BACKEND**和 rerank 模型(**RERANK_PROXY_SILICONFLOW_PROXY_BACKEND**) 可以从 获取用户模型列表 - SiliconFlow 中获取。

  • 通过<font style="color:rgb(17, 24, 39);">DB-GPT Python SDK</font>使用
  1. pip install "dbgpt>=0.6.3rc2" openai requests numpy
  1. - <font style="color:rgb(17, 24, 39);">使用</font>`<font style="color:rgb(17, 24, 39);">SiliconCloud</font>`<font style="color:rgb(17, 24, 39);">的大语言模型</font>
  1. import asyncio
  2. import os
  3. from dbgpt.core import ModelRequest
  4. from dbgpt.model.proxy import SiliconFlowLLMClient
  5. model = "Qwen/Qwen2.5-Coder-32B-Instruct"
  6. client = SiliconFlowLLMClient(
  7. api_key=os.getenv("SILICONFLOW_API_KEY"),
  8. model_alias=model
  9. )
  10. res = asyncio.run(
  11. client.generate(
  12. ModelRequest(
  13. model=model,
  14. messages=[
  15. {"role": "system", "content": "你是一个乐于助人的 AI 助手。"},
  16. {"role": "human", "content": "你好"},
  17. ]
  18. )
  19. )
  20. )
  21. print(res)

更多使用方式参考在 DB-GPT 中使用 - SiliconFlow

  1. 新增知识处理工作流,支持**Embedding加工****知识图谱加工****混合知识加工**处理。

目前DB-GPT知识库提供了文档上传-> 解析 -> 切片 -> Embedding -> 知识图谱三元组抽取 -> 向量数据库存储-> 图数据库存储等单一的知识加工的能力,但是不具备对文档进行复杂的,多元化的信息抽取能力,因此希望通过构建知识加工工作流来完成复杂的,多元化的,可视化的,用户可自定义的知识抽取,转换,加工流程。

V0.6.3 版本更新 - 图1

如何使用:

  • 导入工作流模版

V0.6.3 版本更新 - 图2

  • 保存并注册为服务
  1. curl --location --request POST 'http://localhost:5670/api/v1/awel/trigger/rag/knowledge/hybrid/process' \
  2. --header 'Content-Type: application/json' \
  3. -d '{}'
  1. [
  2. "async persist vector store success 9 chunks.",
  3. "async persist graph store success 9 chunks."
  4. ]

更多使用方式参考 知识加工

  1. **ChatData**场景支持**OceanBase**向量可视化

V0.6.3 版本更新 - 图3

  1. **GraphRAG**社区总结优化,通过并行总结抽取提升索引构建性能

GraphRAG,作为DB-GPT开源项目的重要模块之一,近期获得了显著的技术改进和性能提升。这个创新框架通过巧妙结合图数据库技术与检索增强生成(RAG)方法,在处理复杂数据关系任务上展现出优越性能。

核心改进包括三个关键方面:

  • 首先,引入了文档结构(Document Structure)索引,通过识别文档的层级关系,构建了包含”next”(顺序关系)和”include”(包含关系)两种边的有向图结构。
  • 其次,在知识图谱构建环节,创新性地采用了”上下文增强”方法和并发抽取优化,将任务处理时间降低至原有耗时的20%。
  • 第三,实现了多维度的检索框架,包括三元组图谱检索(局部)、社区摘要检索(全局)和文档结构检索(原文)。

在基于TuGraph基座的图数据建模阶段,GraphRAG 定义了三种节点类型(document、chunk、entity)和五种边类型(包含关系边和顺序关系边),为知识图谱的构建和检索提供了坚实的基础。在社区摘要方面,采用Leiden算法进行社区检测,通过社区文本化和总结,提供了知识的宏观视角。

相比微软的GraphRAG方案,DB-GPT GraphRAG避免了中间态回答(微软GraphRAG一个中间过程)可能带来的信息损失和语义理解偏差,同时我们还支持文档结构溯源,能够为用户提供更可靠的原文参考信息。这些改进使得GraphRAG在保持知识完整性的同时,显著提升了系统性能和用户体验。

在性能测试方面,与微软版本的GraphRAG相比,DBGPT GraphRAG在保持相近的文档输入规模(42,631 tokens)的情况下取得了显著成果:总Token消耗降低至42.9%(417,565 vs 972,220),生成Tokens量减少至18.4%(41,797 vs 227,230),构建知识图谱的时间缩短至80.1%(170s vs 210s)。同时,对照组和实验组的图谱结构均保持了相当的复杂度(734节点/1164边 vs 779节点/967边),确保了知识表示的完整性。

展示示例:(GraphRAG 也可以向用户展示数据来源/原始文档)

V0.6.3 版本更新 - 图4

总得来说,GraphRAG取得了不错的效果:在构建同样规模的知识图谱的情况下,我们在构建图谱这个任务上,花费了更少的时间(约80%),消耗了更少的 tokens (约40%)。同时,在回答需要全局检索的用户问题时,根据测试结果,我们版本的 GraphRAG 在时间和 tokens 的消耗上更具优势。此外,我们的 GraphRAG 得益于文档结构的支持,可以搜索原文,并将原文作为参考文本的一个部分返回给用户,让用户可以获得更可靠的原文信息。

后续,我们将支持更加复杂、更加智能的检索链路(相似度检索、自然语言转GQL检索)。DB-GPT GraphRAG的演进一直在路上,敬请期待。

  1. **ChatData**针对大宽表场景进行**Schema-Linking**优化

测试大宽表sql:

  1. /DB-GPT/docker/examples/sqls/case_3_order_wide_table_sqlite_wide.sql
  1. 聊天对话支持**max output tokens**参数

V0.6.3 版本更新 - 图5

如何设置:

V0.6.3 版本更新 - 图6

  1. 支持**Claude**模型服务
  • .env文件进行配置
  1. LLM_MODEL=claude_proxyllm
  2. ANTHROPIC_MODEL_VERSION=claude-3-5-sonnet-20241022
  3. ANTHROPIC_BASE_URL=https://api.openai-proxy.org/anthropic
  4. ANTHROPIC_API_KEY={your-claude-api-key}
  • python使用
  1. import asyncio
  2. from dbgpt.core import ModelRequest
  3. from dbgpt.model.proxy import ClaudeLLMClient
  4. client = ClaudeLLMClient(model_alias="claude-3-5-sonnet-20241022")
  5. print(
  6. asyncio.run(
  7. client.generate(
  8. ModelRequest._build("claude-3-5-sonnet-20241022", "Hi, claude!")
  9. )
  10. )
  11. )
  1. **Agent**支持上下文记忆

通过在.env文件进行设置

  1. MESSAGES_KEEP_START_ROUNDS=0
  2. MESSAGES_KEEP_END_ROUNDS=2

🐞 Bug 修复

  1. 修复了删除图空间后创建同名问题
  2. 修复了构建Docker镜像问题
  3. 修复了httpx v0.28.0 proxies问题
  4. 修复Chat Data fix sql not found error问题
  5. 修复了EmbeddingAssemblerOperator算子连接问题
  6. 解决fastapi版本问题

🛠️其他

  1. 发布DB-GPT Agent论文ROMAS: A Role-Based Multi-Agent System for Database monitoring and Planning

论文地址:ROMAS: A Role-Based Multi-Agent System for Database monitoring and Planning

  1. 升级 dbgpt-tugraph-plugins版本升级到0.1.1
  2. 升级最新版的docker镜像

✨**官方文档地址**

:::color2 英文

:::

Overview | DB-GPT

:::color2 中文

:::

概览

✨**致谢**

感谢所有贡献者使这次发布成为可能!

@Appointat, @Aries-ckt, @FOkvj, @GITHUBear, @HYSMN, @Sween1y, @fangyinc, @fanzhidongyzby, @toralee and @yhjun1026

V0.6.3 版本更新 - 图7

✨**附录**