在DB-GPT项目中,为了充分使用多模型的能力,设计了一套多服务化的多模型管理框架Service-oriented Multi-model Management Framework(SMMF), 模型服务本身支持独立部署对接到业务场景中,项目提供了多种模型服务部署方式

    同时我们也提供了完全兼容OpenAI RESTFul的接口,支持直接使用openai SDK访问,参见模型接口调用

    更多关于服务化多模型管理的介绍,可以参见设计文档