首页大模型服务平台产品概述基本概念

基本概念

更新时间：2024-03-18 09:16:00

我的收藏

本文汇总使用阿里云百炼过程中涉及的基本概念，方便您查询和了解相关概念。

功能清单

分类 功能 说明
首页 首页 展示平台的使用流程、推荐热门模型以及调用数据概况等。
模型服务 我的模型 管理所有已开通、已部署的模型，包括模型广场已开通模型及经过训练并完成部署的模型，支持针对模型进行调用、评估、训练。
模型广场 在这里您可以根据业务所需挑选通义系列大模型、官方行业或场景大模型、第三方大模型等接入到企业解决方案中。
模型体验 通过选择模型，可选择1-3个模型快速体验或对比模型效果
Prompt工程 Prompt工程通过设计和改进prompt使大模型能够更准确、可靠地执行特定任务，平台为您提供了Prompt模板、Prompt优化等一系列Prompt工程工具。
模型工具 模型调优 模型调优支持多种训练方式，明确训练方向并选择合适的训练数据及参数，训练后的模型效果将更加符合业务需求。
模型部署 已训练/系统预置的模型需要通过模型部署提供服务，支持预付费和后付费两种部署模式，可依据业务需求进行选择。
模型评测 通过构建好的评测集进行模型评测，系统基于评测集将完成推理预测，完成预测结果标注后可查看评测报告。
训练数据 训练集支持多轮/单轮训练数据构建，评测集可用于模型的评测，支持在线编辑与版本管理。
应用中心 我的应用 应用是阿里云百炼平台输出大模型能力的最小单位。创建应用后，通过对应的PaaS接口即可调用大模型能力，可在应用管理中管理创建的各类模型调用应用。
应用体验中心 通过上传自己的测试数据，以对话的形式进行大模型应用的测试，支持展示测试过程中的debug等信息，方便开发者调试和定位问题。
应用广场 在这里您可以挑选官方预置完整工程链路的应用或预置场景prompt的应用，通过应用将通义系列大模型接入到业务解决方案中。
应用工具 插件中心 在这里您根据业务或场景所需选择官方系统插件，或者引入企业自定义API插件，增强大模型交互能力。开启插件功能，调用大模型时根据实际输入内容自动判断应答链路。
应用评测 通过选择评测集或拉取线上日志，批量评测应用效果，支持自定义评测维度，评测过程信息透明化，全方位评测应用效果。
企业知识库 支持上传企业知识，与大模型能力结合，用于企业特定知识领域的问答。只适用于【企业知识检索增强】系列应用，暂不支持与其他大模型联动使用。当前支持word、pdf、非结构化文档，以及excel格式的问答数据。同时提供完整的数据管理SDK供开发接入。
系统管理 调用统计 您可以在这里查看专属模型的用量统计，以获得模型的使用情况。
计费管理 汇总所有需要开通或申请的应用、模型及服务，需要手动开通。
API KEY 访问阿里云API的密钥。
维度管理 依据评测需求增加维度模板，支持自定义多级维度、多级分数，预置多种维度模板，可应用于主流评测任务。
权限管理 用户管理 支持引入阿里云RAM子账号，实现多用户同时操作。
角色管理 为阿里云子账号进行角色管理，以实现功能权限隔离。
业务空间管理 业务空间管理 支持一个企业账号创建多个业务空间，便于业务间数据隔离和管理。
消息中心 消息中心 针对企业数据管理、模型训练以及系统其它功能的消息通知汇总。

产品名词解释

模块 概念 解释
模型推理 QPS Queries Per Second，每秒处理查询次数。如默认QPS=5，即API每秒最多可以处理5个请求。
RPM Requests Per Minute，每分钟处理请求数。如默认QPS=5，默认RPM=300，即API每分钟最多可以处理300个请求。
TPM Tokens Per Minute，每分钟处理tokens数（输入+输出）。如默认QPS=5，TPM=300k，即API最多可以消耗300k（30万）tokens，即每个服务平均处理1000tokens。
应用中心 RAG检索增强应用模板中心 在通义千问模型基础之上，专项增强「基于知识检索的大模型生成能力」，支持基于结构化/非结构化内容的文字生成场景。
知识标签 知识标签是知识检索范围的唯一标识。用于区分应用识别调用知识时的检索范围。
插件中心 支持企业通过API方式设定输入和输出参数，将大模型与外部系统做联动。
流程编排 基于流程画布创建应用。流程编排是一种面向开发者的可视化开发工具，支持LLM、API、脚本等类型节点，旨在简化接入大型语言模型（LLM）流程，同时提供应用流程的全生命周期管理，包括流程的编排、试验、部署等，为开发者提供自定义AI应用开发一站式服务。
Prompt 即提示词，简单的理解为它是给大模型的指令。它可以是一个问题、一段文字描述，甚至可以是带有一堆参数的文字描述。大模型会基于 prompt 所提供的信息，生成对应的文本或者图片。
Prompt模板 您可以通过设计不同Prompt模板来满足垂直场景需求，而无需每次拼接完整Prompt。
Prompt优化 对Prompt语料进行内容质量和结构上的优化，便于获得更符合期望的大模型推理结果。
训练数据 训练集 构建合适训练集，通过模型调优可增强模型能力，提升预测效果，平台支持多轮训练数据、单轮训练数据、在线编辑及效果预览功能。
评测集 构建合适的评测集，通过模型评测评估模型效果，发现模型问题，评测集包括Prompt及Completion，支持在线编辑及管理功能。
模型调优 全参训练 全参训练通过全量更新模型参数的方式进行学习，训练时间较长，收敛速度较慢，可实现模型新能力的学习和全局效果的优化提升。
高效训练 高效训练采用低秩适应的方式，通过矩阵分解的方法，更新分解后的低秩部分参数，训练时间较短，收敛速度较快，适用于模型局部效果优化。
RLHF训练 RLHF训练通过在强化学习的训练过程中加入奖励模型的方式，实现强化学习结果的持续性自动优化，从使得模型效果显著符合预期，功能开发中，敬请期待..
预置模型 预置模型为未经过任何训练的原始模型，您可以通过选择基础模型进行训练从而得到自创模型，不同的基础模型的参数和能力不同，我们将持续推出不同能力方向的模型。
自定义模型 自定义模型版本是基于您训练过的模型进行再次训练，从而调优模型效果，请注意，由于大模型的训练原理，多次训练模型时，后序训练易丢失前序训练已习得的能力，建议后序训练数据需要采样或保持前序训练数据。
循环次数 循环次数代表模型训练过程中模型学习数据集的次数，可理解为看几遍数据，一般建议的范围是1-3遍即可，可依据需求进行调整。默认循环次数为10次。
批次大小 批次大小代表模型训练过程中，模型更新模型参数的数据步长，可理解为模型每看多少数据即更新一次模型参数，一般建议的批次大小为16/32，表示模型每看16或32条数据即更新一次参数。
学习率 学习率代表每次更新数据的增量参数权重，学习率数值越大参数变化越大，对模型影响越大，一般范围为：2e-5至2e-8。
Training Loss Training Loss 代表针对训练数据学习的拟合程度，曲线一般呈现下降趋势，Loss越小，表示训练数据拟合程度越高，过小的Loss易导致数据过拟合，需要根据实际训练过程进行判断。
Validation Loss Validation Loss代表针对验证集学习的拟合程度，曲线一般呈现先下降后上升趋势，Loss越小，表示验证数据拟合程度越高，优秀的模型效果往往出现Validation Loss的最小值节点，此时拟合程度最佳，训练效果最好。
Validation Token Accuracy Validation Token Acc代表针对验证集学习的准确程度，曲线一般呈现上升趋势，训练过拟合后会呈现下降趋势，优秀的模型效果往往出现在Validation Token Acc的最大值节点，此时预测准确率最高，训练效果最好。
超参配置 学习率调整策略 选择不同的学习率策略，动态地改变模型在训练过程中更新权重时所采用的学习率大小。
验证步数 训练阶段针模型的验证间隔步长，用于阶段性评估模型训练准确率、训练损失推荐范围：[1,2147483647]。
序列长度 训练数据的序列长度，单个训练数据样本的最大长度，超出配置长度将自动截断。推荐范围：[500,2048]
学习率预热比例 warmup占用总的训练steps的比例。推荐范围：(0,1)
权重衰减 L2正则化，让权重衰减到更小的值，在一定程度上减少模型过拟合的问题。推荐范围：(0,0.2)
梯度存储 是否开启gradient checkpointing, 默认为True. 该参数可以用于节约显存, 虽然这会略微降低训练速度. 该参数在max_length较大, batch_size较大时作用显著。
反馈

上一篇：开通百炼服务下一篇：产品公告

文档推荐

2024年产品更新公告

更新时间：2024-03-14 19:05:12

我的收藏

说明

阿里云百炼大模型服务平台圈子&子社区上线啦！欢迎大家在社区中踊跃参与留言，期待与您在社区中，共同探讨大模型的世界。

重要

阿里云百炼通义系列大模型将于2024年3月18日调整计费，详细收费内容请查看通义系列大模型计费调整通知。

重要

通义千问-Plus、通义千问-Turbo资源包已上线，现新老用户可限时免费领取！详情点击限时赠送推理资源包活动查看领取！

通义千问-Turbo独占实例预付费资源包上线，您可通过查看产品计费开通订阅！

更新功能清单

2024年3月

日期 功能模块 功能点 功能说明
3月18日 模型广场 新增大模型&计费调整 + 新增通义系列大模型。
+ 大模型计费调整，点击通义系列大模型计费调整通知查看详情。

2024年2月

日期 功能模块 功能点 功能说明
2月22日 企业知识库 新增企业检索链路 新增ES向量存储数据库，知识库名称为默认知识库，检索效果增强。详情查看上传企业知识。
2月22日 企业知识库 支持上传FAQ形式文件 新增上传Excel格式的文件，详情查看配置企业知识库。
2月8日 模型体验 新增模型体验中心 新增多模型对比体验及模型调试能力，详情查看模型体验介绍。
2月5日 模型广场 新增大模型类型 新增官方大模型及第三方大模型，详情查看模型广场介绍。
2月5日 企业知识库 新增上传格式 支持OSS上传文档，详情查看配置企业知识库。
2月5日 Prompt工程 新增Prompt模板类型 新增110个Prompt模板。
2月4日 模型部署 新增模型部署类型-通义千问-Plus 支持通义千问-Plus大模型的独立部署。
2月1日 流程编排 新增流程编排版本 流程编排支持一键调整布局，优化流程画布交互体验。

2024年1月

日期 功能模块 功能点 功能说明
1月30日 应用管理 新增会话记录备份 通过ADB-PG备份会话记录，支持手动关闭/开启。
1月24日 流程编排 新增流程画布版本 脚本节点是面向开发者提供简单的代码开发能力。新增Python语言。
1月24日 流程编排 流程画布增加大模型节点 大模型节点，用于关联包括但不限于官方模型、SFT模型，旨在使用大模型能力详情查看LLM节点说明。
1月18日 模型训练 新增混合训练选项 支持混合训练，选择数据比例后，可自动混入数据进行训练。
1月15日 API相关 修复文档上传字段缺失 相关字段已更新，详情查看应用调用SDK参考
1月11日 模型部署 新增下线状态 增加模型独占实例下线状态-删除按钮。
1月11日 模型训练 新增模型训练版本 支持通义千问-Plus、通义千问-Turbo模型训练
反馈

上一篇：产品动态下一篇：商业化升级自动创建实例通知

文档推荐

模型训练(Model Training)

2023-12-1867发布于北京 版权

本文涉及的产品

云服务器 ECS，每月免费额度280元 3个月

推荐场景：

部署并使用Docker快速搭建云上博客搭建微信小程序

限个人用户试用

云服务器ECS，u1 2核4GB 1个月

推荐场景：

搭建2048小游戏搭建turtle画布搭建wiki知识库

限个人用户试用

简介： 模型训练(Model Training)是指使用数据集对模型进行训练,使其能够从数据中学习到特征和模式,进而完成特定的任务。在深度学习领域,通常使用反向传播算法来训练模型,其中模型会根据数据集中的输入和输出,不断更新其参数,以最小化损失函数。

模型训练(Model Training)是指使用数据集对模型进行训练,使其能够从数据中学习到特征和模式,进而完成特定的任务。在深度学习领域,通常使用反向传播算法来训练模型,其中模型会根据数据集中的输入和输出,不断更新其参数,以最小化损失函数。 模型压测(Model Benchmark)是指对训练好的模型进行性能测试,以评估模型的性能和可扩展性。测试的性能指标包括延迟(Latency)、吞吐量(Throughout)、GPU利用率等。通过模型压测,可以发现模型的瓶颈和潜在问题,为模型优化提供指导。 模型分析(Model Profile)是指对模型进行静态分析,以发现模型中可以优化的地方。模型分析工具可以提供模型的可视化结构,帮助开发者理解模型的复杂性和性能瓶颈。通过模型分析,可以发现模型中的冗余计算、不必要的参数等,进而进行优化。 模型优化(Model Optimize)是指使用各种技术和工具来优化模型的性能。常用的模型优化技术包括TensorRT、XLA、TVM等。这些技术可以对模型进行编译和优化,以提高模型的推理性能和效率。例如,TensorRT可以将深度学习模型转换为高效的GPU代码,从而提高模型的性能和吞吐量。 模型服务(Model Serving)是指将训练好的模型部署为在线服务,以供用户使用。模型服务通常包括模型托管、模型管理、模型推理等功能。通过模型服务,用户可以方便地在云端或本地部署模型,并享受高质量的模型推理服务。