如何创建应用调用大模型能力
更新时间:2024-03-16 00:54:42 本篇内容主要说明应用服务中的应用调用功能介绍。创建应用
1. 新增应用
您可以在这里新建应用,并将应用接入您的场景中。点击新增应用按钮,输入应用名称;2.选择应用类型
应用模型列表详情点击【应用广场介绍】查看3. 测试
应用创建完成后可以先简单的进行测试验证模型效果,点击【测试】按钮,在输入框中输入【测试内容】,验证模型回复的答案内容。4. 更新应用设置
点击设置可以设置干预输入话术设置触发关键词,将会回复已经设定好的回复内容;点击添加新增完成。 默认是未启用状态,点击启用后生效。支持禁用、编辑、删除操作。创建输入话术规则
- 规则名称:支持中英文、数字,最多支持20字符;
- 规则条件:默认为空,点击“新增条件”按钮,选择所需的条件类型; - 注意:干预输入话术支持关键词、正则表达式、语义意图 三种类型; - 干预生成结果仅支持关键词 一种类型; - 关键词:新建条件后,默认为“包含”,最多支持输入50个关键词; - 正则表达式:新建条件后,默认为“包含”,最多支持输入10个表达式;配置方法参考正则表达式配置。 - 语义意图:新建条件后,默认为“包含”,最多支持输入10个相似语句。
- 回复话术:支持干预回复内容,并调整为回复话术,支持中英文、数字,最多支持500字符。
- 规则新建完成默认为“已禁用”状态,需要用户手动开启该规则。
5. 调用
阿里云百炼支持API接口调用,点击调用即可获取到API详细信息。
反馈如何测试应用
更新时间:2024-03-16 00:55:06 概述开发者想要调试当前应用的效果,需要集成SDK后发起请求调用才能看到结果。这样非常不直观,于是平台为开发者提供了应用的测试窗服务,便于开发者在可视化的情况下进行调试。测试步骤
步骤一:测试前做好配置检查
要检查应用中心内的配置是否已经配置完全,例如中控模型的选择是否符合预期,插件是否完成了范围勾选,下面是一些应用中心配置的。页面布局
如下图,应用中心→我的应用→点击【测试】按钮。 第二种快捷方式在右上角,点开后选择应用体验中心,也能进行测试。步骤三:开始调试
如上图为待调试的展示区域: (1)右侧【展示debug信息】是展示调试过程中,中控模型决策的思考过程,有助于看到是否命中了相应的插件或者文档。 (2)右上角「重置对话」,是清空当前对话的作用,由于测试窗调试过程中是一直携带上下文的,为避免上下文干扰,在调试过程中可以直接重置对话。 (3)下方输入框是模拟用户问题的录入框,单次模拟有字符限制,且一次调试完成后才可以录入下一个问题。 如上图是一次调试过程,上方的暗色背景区域就是中控模型的执行结果,从这个过程信息中可以清晰地看到中控模型的决策过程,是否命中插件等等关键信息,有助于自助排查问题,详细的解析可以参考下方的Debug过程解析。 中间通义图标右侧的就是应用的最终输出结果,在输出结果的下方有「问题反馈」以及「重新生成」按钮。 requestID是串联整个服务的traceId,当给答疑的同学进行问题反馈时,提供requestID可以快速定位问题,省时省力。重新生成按钮就是在原输出区域重新生成答案进行覆盖,不会将重新生成前的内容带入上下文中。
步骤四:测试完毕,验证结果
界面输出的为responseText,验证是否符合预期。模型思考过程(应用Debug过程)解析
该解析过程仅针对基通义模型的“文档增强”和“插件增强”两个模型生效。以一次命中官方插件「路径规划」的插件调度成功的思考过程进行解析。 :第一次思考过程:决策
①理解用户意图
中控大模型根据用户勾选的插件的描述以及勾选的文档集合,通过自然语言理解,进行分析决策,最终选定一个能力对当前问题进行解决。上面的例子是命中了searchAmap这个官方插件。②明确API所需参数
从插件的入参中获取待模型识别的参数列表。上面的例子是“出发地名称”以及“目的地名称”。③识别参数的取值
对用户的问句进行必要参数的提取。上面的例子中提取出了参数,出发地名称=杭州,目的地名称=北京。④明确后续需求
明确后续是否还需要做进一步的事情来解决该问题,比如发现从用户的问句中无法提取必要的参数,模型会结合必要参数进行反问。上面的例子识别出了所有的必需参数,所以不需要进一步处理。如果上面的例子中把北京略去,模型就会发出反问,“你想去哪里”类似的回复。 ⑤确定后续计划 如果过明确有后续需求,则执行。例如上一步有返回,则这一步会发出反问。⑥执行决策计划
当前执行了searchAmap插件,并且打印出了插件的出入参,非常方便排查问题。第二次思考过程:判定结果是否符合预期
如果符合预期,则直接返回结果;如果不符合预期,进一步找其他的能力继续解决问题。反馈
思考过程:
[Step: 理解用户意图] 用户想要查询两个地点的距离,为此需要调用searchAmap。
[Step: 明确API所需参数] searchAmap的必选参数有:出发地名称、目的地名称,可选参数为空。
[Step: 识别参数的取值] 从对话内容中,可以识别到的参数及其取值:出发地名称=杭州,目的地名称=北京。
[Step: 明确后续需求] searchAmap的所有必选参数都已知,不需要再询问。
[Step: 确定后续计划] 可以调用searchAmap了。
执行插件:路径规划
输入参数
{
"originPlace": "杭州",
"destinationPlace": "北京"
}
输出参数
{
"data": {
"distance": "1245711",
"duration": "46708"
},
"status": "SUCCESS"
}
思考过程: 可以根据返回结果回答了。
结果内容: 从杭州到北京的距离是1245711米,预计需要46708秒。
如何快速调用官方预置应用-RAG检索增强应用模板
更新时间:2024-03-16 00:55:23 本篇说明如何快速调用官方预置应用-企业知识检索增强。视频介绍
如何快速调用官方预置应用-RAG检索增强应用模板
定义
阿里云百炼提供的RAG检索增强应用模板可以帮助大家实现让大模型瞬间“开挂”的技能。结合上传的知识数据,大模型识别解析学习文档内容,最终给出生成式回复。我们在通义千问-Turbo/Max大模型基础上,将文件上传、读取、切片、向量化等过程都开发好预置在应用中,实现开箱即用,更能满足您的日常需求。优势
开箱即用:预置检索增强流程/prompt模板应用,无需开发,业务人员也可开箱即用。
智能问答:支持上传企业知识,与大模型能力结合,用于企业特定知识领域的问答。
灵活易接入:满足企业快捷接入结构化&非结构化数据,支持多种文件格式。
创建企业知识检索增强应用
进入百炼控制台后,点击应用广场—选择RAG检索增强应用模板—点击创建应用—输入应用名称—点击确定—选择检索范围—创建完成。说明
RAG检索增强应用:在qwen-turbo大模型基础之上,专项增强「基于知识检索的大模型生成能力」,支持基于结构化/非结构化内容的文字生成场景。
收费标准:0.008元/千tokens;
创建完成的应用可以在【我的应用】列表中查看。管理应用
点击应用下方的【管理】按钮,可以对该应用进行存储实例和数据范围修改也可以设置快速干预。 创建输入话术规则 + 规则名称:支持中英文、数字,最多支持20字符; + 规则条件:默认为空,点击“新增条件”按钮,选择所需的条件类型; - 注意:干预输入话术支持关键词、正则表达式、语义意图 三种类型; - 干预生成结果仅支持关键词 一种类型; - 关键词:新建条件后,默认为“包含”,最多支持输入50个关键词; - 正则表达式:新建条件后,默认为“包含”,最多支持输入10个表达式;配置方法参考正则表达式配置。 - 语义意图:新建条件后,默认为“包含”,最多支持输入10个相似语句。 + 回复话术:支持干预回复内容,并调整为回复话术,支持中英文、数字,最多支持500字符。 + 规则新建完成默认为“已禁用”状态,需要用户手动开启该规则。 多轮对话:使用平台内置缓存,可实现大模型应用的多轮会话。开启后,可在测试窗或API调用中通过传入SessionID实现多轮会话。说明
存储实例和数据范围:检索增强应用支持关联ADB数据库,可以切换存储产品实例及检索范围,详情点击企业数据了解; 快速干预:可以干预输入/输出的内容。