:::color1 🎯 本文适用对象：

企业应用落地时，最关心的就是“报价”，无论你是甲方还是乙方，本文都能对你起到指导作用。

  • 甲方：你需要了解，落地此方案软、硬件采买费用大概是多少，做到心中有数。
  • 乙方：你需要给客户报出一个合理的价格，但是对于新兴产业，很多人都是小白，无从下手

:::

关于大模型应用落地费用，需要从 硬件数据授权license产品3rd API等角度思考。

  • 硬件：指训练、微调、部署推理 LLM 时，所需的硬件费用，如 CPU、GPU
  • 数据：指训练、微调模型，对于所需数据集的准备费用（因为可能需要人工标注，领域专家来做这个事情）
  • 授权license：对于开源厂商的非开源模型，本地私有化部署需要采买模型基座以及模型授权【授权实例数、按年、按买断】
  • 产品：指的涵盖 RAG 知识库、工具编排、Agent 的整套 MaaS解决方案研发费用
  • 3rd API 或私有 LLM：指的本地私有部署的模型或者调用第三方平台的模型 API 资费

🎯 硬件 GPU & CPU

:::color5 🌈** 前提**

关于硬件的配置要求，要从很多角度来考虑，比如 “训练模型、微调模型、模型的运行推理、应用系统数据量级、部署方案、应用吞吐量” 等多角度考虑，所以，在没有明确需求的前提下，就聊硬件费用，是无稽之谈。真正懂大模型的人，要考虑需求具体情况或者围绕一个前提下，给出方案推荐！

:::

:::color1 以下数值，以 13B非量化版参数量模型为例给出参考。

注意：不同厂商模型以及不同的量化版本，可能有所差异，具体需要以当下实时情况根据官方报告进行评估。

:::

📌 CPU 要求

:::color1 注：大模型推理虽然支持纯 CPU 推理，但是效率很低，所以以下评估方案中，不针对纯 CPU 推理部署方案

:::

  • 纯 CPU 推理参考：以 Qwen-7B 为例，纯 CPU 推理，5 个吞吐量，需要 32G 内存
  • 推理 13B 非量化：24c | 64G

📌 GPU 要求

📍** 硬件配置参考**

:::color1 以百川为例，后面陆续补充其他模型

如果您对 AI 也感兴趣，欢迎一起共建知识库

:::

模型 CPU 要求 输入+输出 tokens GPU显存要求
Baichuan2-53B **24c 256G** 4k 96G
Baichuan2- 33B-32k **24c 100G** 32k 96G
Baichuan2- 33B-192k **24c 100G** 10k 48G
32k 96G
64k 140G
100k 192G
192k 320G**
Baichuan2-13B **24c 64G** 32k 48G
Baichuan2-13B-192k **24c 64G** 15k 24G
32k 48G
64k 70G
100k 96G
192k 192G

📍 常用 GPU 价格参考

此表格只提供了推荐卡以及价格参考，详细介绍请看👉🏻 ⚙️ GPU通识及硬件选型 > 统计截止时间：2024 年 5 月 > | 显卡 | 上市/年 | 目标市场 | 性能 | 应用场景 | 价格/元（单卡） | | :—-: | :—-: | :—-: | :—-: | —- | :—-: | | P40 | 2016 | 数据中心/HPC | 适中 | 大规模数据集的处理和分析，高端3D渲染和可视化。基于 Pascal 架构的较旧型号。 | ￥4,969（24GB） | | V100 | 2017 | 数据中心/AI | 高 | 深度学习训练/推理, 高性能计算 | ￥32,969(32G) | | T4 | 2018 | 企业/AI 推理 | 适中 | 面向AI推理和服务器端图形处理的GPU，适用于能源效率较高的工作负载，如AI推理、视频解码和轻量级的图形工作负载。基于Turing架构。T4包含Tensor Core（张量核心）和RT Core（光线追踪核心） | ￥4,929(16G) | | A10 | 2020 | 图形/AI推理 | 适中 | + 定位：A10是NVIDIA的Ampere架构下的一款数据中心GPU，主要用于AI推理、视频解码和轻量级的图形工作负载。
+ 特点：A10强调AI推理性能，支持多实例GPU（MIG）功能，允许单个A10 GPU在多个隔离的环境中同时运行不同的任务。 | ￥24,069(24G) | | A100 | 2020 | 数据中心/AI | 非常高 | 深度学习训练/推理, 高性能计算，40GB或80GB的HBM2e | ￥147,969(80G) | | A800 | 2022 | 数据中心/AI | 非常高 | 深度学习推理, 高性能计算, 大数据分析 | ￥139,969(80G) | | 4090 | 2022 | 消费者 | 高 | 通用计算, 图形渲染, 高端游戏, 4K/8K 视频编辑。面向游戏和高端消费者市场的旗舰级GPU，基于Ada Lovelace架构。 | ￥14,599(24G) | | H100 | 2022 | 数据中心/AI | 非常高 | 深度学习训练/推理, 高性能计算, 大数据分析Hopper架构 | ￥242,000（80G） | :::color4 + 有些在京东就能买到 + 美国商务部限制 GPU 对华出口的算力不超过 4800 TOPS 和带宽不超过 600 GB/s，导致最强的 H100 和 A100 禁售。黄教主随后推出针对中国市场的 A800 和 H800。 + 参考： - 英伟达 A100 和 H100 已被禁止向中国供货 - 50 亿美元，算力芯片迎来狂欢，腾讯字节抢购英伟达 A800 订单 ::: ## 📌 部署方案与访问量级 :::color1 评估大模型需要硬件资源时，肯定要考虑部署方案以及应用吞吐量，这是很重要的参考指标。 如果客户需求不明确提及这一点，就让你报价，那就是一个“天坑”。 本文旨在帮你避雷！

:::

📍 部署方案考量

  • 是否 RAG 方案
    • 肯定需要部署向量数据库，以 milvus 为例，至少 16c | 64G 起
    • 需要向量化的数据量有多大，这个是很重要的点
  • 应用所需的常规数据库如 mysql、redis、ES 评估
    • 不用说，mysql、redis 一般都得集群部署，配置要求视项目实际情况而定
    • 这里大家在做方案时，往往经常忽略，因为大家都聚焦到大模型 GPU 上了
  • 项目是否需要分布式、集群部署？
    • 如果分布式、集群部署，那么所有硬件设备至少乘 3 倍，你只报一倍价格，能行么！！！

📍 吞吐量

  • 你这个应用只有 10 个人用和有 10 万个人用，那性能要求肯定是不同的
  • 上面给出的大模型推理配置要求，指的都是低吞吐量要求，10 个并发前提下。 所以，如果系统并发量很大， 对于 GPU 卡的数量就得同步追加。

📍 数据集

  • 训练：
    • 如果需要做训练，还得看是什么训练方式，比如 SFT、RLHF 等
    • 不管什么方式训练，都需大量人力准备数据
  • 微调：
    • 微调也需要对数据做准备，然后结合脚本批量转化
    • 人工，躲不掉
  • 没有？ 买数据？

🎯 私有化部署价格

:::color1 🎯 声明（不代表官方，仅做参考）：

如下价格不同时期会有变化，并且会根据不同需求有不同的 price list。

不同厂商也会有所不同，但大同小异，大家知道需要考虑这些方面即可。所以，仅供参考！

:::

📌 license 定义

license即许可，用于授权客户可以在本地环境部署大模型。以百川为例：

  • 10个推理 license：即允许客户在 10个 推理实例上部署百川大模型。推理实例即提供模型推理服务的配置。例如: Baichuan2-13B：
    • 需要的最低配置为 4卡4090(24G)
    • 一台8卡4090(24G)的机器若按照最低配置，可以部署2个实例。
    • 客户也可以选择高于最低配置，只部署1个实例(8卡作为1个实例)。

📌 模型打包费用

:::color1 🎯 声明（不代表官方，仅做参考）：

如下价格不同时期会有变化，并且会根据不同需求有不同的 price list。

不同厂商也会有所不同，但大同小异，大家知道需要考虑这些方面即可。所以，仅供参考！

:::

公司名称 产品形态 模型 单价
百川 本地私有化 Baichuan2-13B-192k 200 万元
Baichuan2- 33B-192k 750 万元
Baichuan2-53B 900 万元

1）13b 报价涵盖了10个授权 33b涵盖30个授权

2）该报价为listprice价格，如果与我们合作会给到一个很大的折扣

3）知识库等应用单独报价，list price 在几十W

📌 产品费用

:::color1 指的涵盖 RAG 知识库、工具编排、Agent 的整套 MaaS解决方案

价格，未知，因为很少有企业采买。对于小企业或者个人，都直接用开放平台订阅模式了

但凡有研发能力的公司，都自己研发了

:::

📌 3rd API 费用

:::color1 这方面价格也经常变化，建议大家实时登录各家官网查看（汇总入口👇）

:::

🤖 大模型汇总 | AI工具合集

部分示例参考 (统计截止时间：2024 年 5 月)

💰 企业落地费用报价指南 - 图1

学习更多关于 AI 大模型全栈知识👇

:::danger 🌈** AI大模型全栈通识课程**👇

:::

:::color1 🙋 个人介绍 **👉🏻**

:::

:::color5 🙋 AI 工具 **👉🏻**

:::

:::info 🙋 开源版知识库**👉🏻**

:::

:::warning 🙋 AI全栈通识课堂

:::

✅免责声明

素材来源于网络以及个人总结，仅供个人学习交流无商业用途，版本归原创者所有

如有侵权请及时与我联系（微信：AGI舰长-LHYYH0001）删除