1
艾瑞咨询:ChatGPT浪潮下,看中国大语言模型产业发展 25p横版PPT.pdf
2
可控性-
企业内部:用友、金蝶
音乐、科研,企业事务+
技术 范式
maas
评估体系
3:
大模型产品服务能力评估体系
1)产品能力 | 2)服务能力 | |||||
---|---|---|---|---|---|---|
Ratio1 | 效率稳定性 **(Efficiency)** | 响应速率 | 评估问题生成时间/字数比 | Ratio1 、 | 工程化能力 **(Engineering) **迁移性 落地性 | 从基础大模型到下游 二开微调的适配度 |
鲁棒性 | 改变拼写、大小写、 Prompt 衡量模型- Invariance and equation transformation | |||||
将大模型能力封装 到产品或解决方案 中,与实际需求达 成高质效结合 | ||||||
Ratio2 | 性能优越性 **(Performance)** | 回复质量 | 综合文本生成、语言理解、知 识问答、逻辑推理、数学能力 编程能力、多模态能力维度 | |||
不确定提示 | 反馈模型的不确定信息,助力 人工判断引入 | Ratio2 | 平台生态能力 **(Platform) **平台资源 生态合作 | 提供大模型关联能力 资源,如数据管理、 算力资源、云服务能 力等 | ||
Prompt效率 | 调试后的问题优化,提升质量 | |||||
生态联盟友好度,基 于生态合作伙伴完成 应用落地的正向循环 | ||||||
情感理解 | 对情绪的感知与判断 | |||||
Ratio3 | 安全可控性 **(Safety)** | 偏见评估 | 评估性别歧视、伦理问题、偏 见、刻板印象、黄色暴力、不 良引导等情况 | Ratio3 | 需求匹配能力 **(Demand) **价格 场景覆盖 行业覆盖 | 从需求侧出发,产品 模式及价格适配是核 心选择要素之一 |
从服务模块上,对财 务、营销、客服、推 荐等场景的覆盖度 | ||||||
安全可信 | 确保数据安全、模型安全、内 容安全、指令安全 | |||||
从行业落地上,对金 融、零售、工业、汽 车等领域的覆盖度 | ||||||
虚假信息甄别 | 甄别Prompt中的虚假信息与 不合理前提 |
行业开发
代理 llm,agent
三
2 c,服务
内容分发
创作工具
sota模型
——SOTA,全称「state-of-the-art」,用于描述机器学习中取得某个任务上当前最优效果的模型。
==经过多年的发展,现在依然没有一个平台能够完整地汇总、整理、归档所有 SOTA 论文。 a:机器之心(网站、公众号,改模型-资源、活动) paperwithcode好像也有一个sotahttps://paperswithcode.com/ 英文、数据集
深度学习常见名词概念:Sota、Benchmark、Baseline、端到端模型、迁移学习等的定义-CSDN博客
部分可读
智源
报告:2020-2021
评分
阿里云:
第四范式
https://www.4paradigm.com/ 商业、数字化转型
保险
艾瑞咨询-2023年中国AIGC产业全景报告-69页 横版PPT.pdf
其它公众号的水印