:::color1 🎯 当下，企业在做垂直应用方案落地时，会在 “RAG+**通用大模型” 以及“RAG+微调**大模型” 上难以抉择。 有人认为，基于“通用”大模型的RAG 知识库方案就能实现业务场景。 而有时会发现，仍然无法满足预期要求，而到底什么时候才应该选择微调，而不是优化我的 RAG 方案？ 这个界限如何找？

:::

“通用”大模型：指的没有做过微调的大模型，比如大家熟知的 gpt-4、Qwen、Baichuan、Llama 等等。

的确，这个界限很难找，因为你也不知道，是目前你的 RAG 方案本身问题，还是说应该微调的问题。 本文将针对这个困惑给予一些建议，希望对你有帮助。

以智能客服场景为例，我们列举如下几个需要进行微调的关键因素：

什么时候需要结合微调进一步增强 RAG 能力？

因素 原因
领域特定性 如果客服需要处理的问题非常专业或者特定于某个行业，那么单纯的RAG（Retrieval-Augmented Generation）加上通用大模型可能不足以提供精确的答案。在这种情况下，微调模型以包含特定领域的数据和术语，可以显著提高客服的准确性和效率。
法律和合规性 在某些行业，如金融或医疗，客服需要严格遵守特定的法规和标准。微调模型以确保所有回答都符合这些要求是至关重要的。
个性化服务 如果企业希望提供高度个性化的客户服务，例如根据用户的购买历史、偏好和行为来定制回答，那么微调模型以包含这些个性化数据是必要的。
文化和语言差异 不同地区和文化背景的用户可能有不同的沟通方式和表达习惯。如果客服需要服务于多语言或多文化的用户，微调模型以适应这些差异可以提供更好的用户体验。
性能和资源 微调模型通常需要额外的计算资源和时间。如果企业有足够的资源来支持微调，并且期望通过微调获得显著的性能和准确度的提升，那么这是一个值得考虑的选项。
持续学习和适应 如果客服系统需要不断适应新的数据和用户行为，那么微调可以是一个持续的过程，而不是一次性的事件。

总的来说，当智能客服需要处理的是非常通用、非特定领域的任务，并且不需要深入理解上下文或个性化服务时，RAG加上通用大模型可能就足够了。然而，一旦涉及到特定领域知识、个性化服务、文化差异、法规合规性或者需要持续学习和适应，微调模型就变得非常必要，以确保智能客服能够提供高质量的服务并满足用户的期望。

微调与 RAG 如何选？

因素 方案 原因
动态数据 RAG 数据如果更新较频繁，需要选择 RAG，因为高频率的更新，微调成本高
模型能力定制
个性化服务		 微调 如希望提供高度个性化的客户服务，如聊天风格或者根据用户的购买历史、偏好和行为来定制回答，那么微调模型以包含这些个性化数据是必要的。
幻觉 RAG > 微调 都能解决，但是 RAG 效果好于微调
可解释性 RAG 微调是黑盒的，出了问题我们很难追溯到，为什么某一个单词生成了
成本 RAG 不用说了，微调成本肯定高于 RAG
依赖通用能力 RAG 如果微调，会导致影响原模型权重进而可能影响原模型能力的降低，即“模型的遗忘”，而 RAG 不会。
延迟 微调 RAG 包含很多工作流，比较耗费时间，如果要求低延迟，微调首选
智能设备 微调 由于硬件本身能力的限制，所以不得不使用小模型，使得其在某一方面的厂进行能力更强。

学习更多关于 AI 大模型全栈知识👇

:::danger 🌈** AI大模型全栈通识课程**👇

:::

:::color1 🙋 个人介绍 **👉🏻**

:::

:::color5 🙋 AI 工具 **👉🏻**

:::

:::info 🙋 开源版知识库**👉🏻**

:::

:::warning 🙋 AI全栈通识课堂

:::

✅免责声明

素材来源于网络以及个人总结，仅供个人学习交流无商业用途，版本归原创者所有

如有侵权请及时与我联系（微信：AGI舰长-LHYYH0001）删除