如何创建应用调用大模型能力

更新时间:2024-03-16 00:54:42

我的收藏

本篇内容主要说明应用服务中的应用调用功能介绍。

创建应用

1. 新增应用

您可以在这里新建应用,并将应用接入您的场景中。点击新增应用按钮,输入应用名称;

调用、测试 - 图3

2.选择应用类型

应用模型列表详情点击【应用广场介绍】查看

调用、测试 - 图4

3. 测试

应用创建完成后可以先简单的进行测试验证模型效果,点击【测试】按钮,在输入框中输入【测试内容】,验证模型回复的答案内容。

调用、测试 - 图5

调用、测试 - 图6

4. 更新应用设置

点击设置可以设置干预输入话术设置触发关键词,将会回复已经设定好的回复内容;点击添加新增完成。 默认是未启用状态,点击启用后生效。支持禁用、编辑、删除操作。

调用、测试 - 图7

创建输入话术规则

  • 规则名称:支持中英文、数字,最多支持20字符;
  • 规则条件:默认为空,点击“新增条件”按钮,选择所需的条件类型; - 注意:干预输入话术支持关键词、正则表达式、语义意图 三种类型; - 干预生成结果仅支持关键词 一种类型; - 关键词:新建条件后,默认为“包含”,最多支持输入50个关键词 - 正则表达式:新建条件后,默认为“包含”,最多支持输入10个表达式;配置方法参考正则表达式配置 - 语义意图:新建条件后,默认为“包含”,最多支持输入10个相似语句
  • 回复话术:支持干预回复内容,并调整为回复话术,支持中英文、数字,最多支持500字符。
  • 规则新建完成默认为“已禁用”状态,需要用户手动开启该规则。

5. 调用

阿里云百炼支持API接口调用,点击调用即可获取到API详细信息。

反馈

上一篇:

如何测试应用

更新时间:2024-03-16 00:55:06

我的收藏

概述开发者想要调试当前应用的效果,需要集成SDK后发起请求调用才能看到结果。这样非常不直观,于是平台为开发者提供了应用的测试窗服务,便于开发者在可视化的情况下进行调试。

测试步骤

步骤一:测试前做好配置检查

要检查应用中心内的配置是否已经配置完全,例如中控模型的选择是否符合预期,插件是否完成了范围勾选,下面是一些应用中心配置的。

页面布局

如下图,应用中心→我的应用→点击【测试】按钮。

调用、测试 - 图8

第二种快捷方式在右上角,点开后选择应用体验中心,也能进行测试。

调用、测试 - 图9

调用、测试 - 图10

步骤三:开始调试调用、测试 - 图11

如上图为待调试的展示区域: (1)右侧【展示debug信息】是展示调试过程中,中控模型决策的思考过程,有助于看到是否命中了相应的插件或者文档。 (2)右上角「重置对话」,是清空当前对话的作用,由于测试窗调试过程中是一直携带上下文的,为避免上下文干扰,在调试过程中可以直接重置对话。 (3)下方输入框是模拟用户问题的录入框,单次模拟有字符限制,且一次调试完成后才可以录入下一个问题。

调用、测试 - 图12调用、测试 - 图13

如上图是一次调试过程,上方的暗色背景区域就是中控模型的执行结果,从这个过程信息中可以清晰地看到中控模型的决策过程,是否命中插件等等关键信息,有助于自助排查问题,详细的解析可以参考下方的Debug过程解析 中间通义图标右侧的就是应用的最终输出结果,在输出结果的下方有「问题反馈」以及「重新生成」按钮。 requestID是串联整个服务的traceId,当给答疑的同学进行问题反馈时,提供requestID可以快速定位问题,省时省力。

重新生成按钮就是在原输出区域重新生成答案进行覆盖,不会将重新生成前的内容带入上下文中

步骤四:测试完毕,验证结果

界面输出的为responseText,验证是否符合预期。

模型思考过程(应用Debug过程)解析

该解析过程仅针对基通义模型的“文档增强”和“插件增强”两个模型生效。以一次命中官方插件「路径规划」的插件调度成功的思考过程进行解析。 :

第一次思考过程:决策

①理解用户意图

中控大模型根据用户勾选的插件的描述以及勾选的文档集合,通过自然语言理解,进行分析决策,最终选定一个能力对当前问题进行解决。上面的例子是命中了searchAmap这个官方插件。

②明确API所需参数

从插件的入参中获取待模型识别的参数列表。上面的例子是“出发地名称”以及“目的地名称”。

③识别参数的取值

对用户的问句进行必要参数的提取。上面的例子中提取出了参数,出发地名称=杭州,目的地名称=北京。

④明确后续需求

明确后续是否还需要做进一步的事情来解决该问题,比如发现从用户的问句中无法提取必要的参数,模型会结合必要参数进行反问。上面的例子识别出了所有的必需参数,所以不需要进一步处理。如果上面的例子中把北京略去,模型就会发出反问,“你想去哪里”类似的回复。 确定后续计划 如果过明确有后续需求,则执行。例如上一步有返回,则这一步会发出反问。

⑥执行决策计划

当前执行了searchAmap插件,并且打印出了插件的出入参,非常方便排查问题。

第二次思考过程:判定结果是否符合预期

如果符合预期,则直接返回结果;如果不符合预期,进一步找其他的能力继续解决问题。
  1. 思考过程:
  2. [Step: 理解用户意图] 用户想要查询两个地点的距离,为此需要调用searchAmap
  3. [Step: 明确API所需参数] searchAmap的必选参数有:出发地名称、目的地名称,可选参数为空。
  4. [Step: 识别参数的取值] 从对话内容中,可以识别到的参数及其取值:出发地名称=杭州,目的地名称=北京。
  5. [Step: 明确后续需求] searchAmap的所有必选参数都已知,不需要再询问。
  6. [Step: 确定后续计划] 可以调用searchAmap了。
  7. 执行插件:路径规划
  8. 输入参数
  9. {
  10. "originPlace": "杭州",
  11. "destinationPlace": "北京"
  12. }
  13. 输出参数
  14. {
  15. "data": {
  16. "distance": "1245711",
  17. "duration": "46708"
  18. },
  19. "status": "SUCCESS"
  20. }
  21. 思考过程: 可以根据返回结果回答了。
  22. 结果内容: 从杭州到北京的距离是1245711米,预计需要46708秒。
反馈

上一篇:

如何快速调用官方预置应用-RAG检索增强应用模板

更新时间:2024-03-16 00:55:23

我的收藏

本篇说明如何快速调用官方预置应用-企业知识检索增强。

视频介绍

如何快速调用官方预置应用-RAG检索增强应用模板

定义

阿里云百炼提供的RAG检索增强应用模板可以帮助大家实现让大模型瞬间“开挂”的技能。结合上传的知识数据,大模型识别解析学习文档内容,最终给出生成式回复。我们在通义千问-Turbo/Max大模型基础上,将文件上传、读取、切片、向量化等过程都开发好预置在应用中,实现开箱即用,更能满足您的日常需求。

优势

开箱即用:预置检索增强流程/prompt模板应用,无需开发,业务人员也可开箱即用。

智能问答:支持上传企业知识,与大模型能力结合,用于企业特定知识领域的问答。

灵活易接入:满足企业快捷接入结构化&非结构化数据,支持多种文件格式。

创建企业知识检索增强应用

进入百炼控制台后,点击应用广场—选择RAG检索增强应用模板—点击创建应用—输入应用名称—点击确定—选择检索范围—创建完成。

说明

RAG检索增强应用:在qwen-turbo大模型基础之上,专项增强「基于知识检索的大模型生成能力」,支持基于结构化/非结构化内容的文字生成场景。

收费标准:0.008元/千tokens

调用、测试 - 图14

调用、测试 - 图15

调用、测试 - 图16

创建完成的应用可以在【我的应用】列表中查看。

调用、测试 - 图17

管理应用

点击应用下方的【管理】按钮,可以对该应用进行存储实例和数据范围修改也可以设置快速干预。调用、测试 - 图18 创建输入话术规则 + 规则名称:支持中英文、数字,最多支持20字符; + 规则条件:默认为空,点击“新增条件”按钮,选择所需的条件类型; - 注意:干预输入话术支持关键词、正则表达式、语义意图 三种类型; - 干预生成结果仅支持关键词 一种类型; - 关键词:新建条件后,默认为“包含”,最多支持输入50个关键词 - 正则表达式:新建条件后,默认为“包含”,最多支持输入10个表达式;配置方法参考正则表达式配置 - 语义意图:新建条件后,默认为“包含”,最多支持输入10个相似语句 + 回复话术:支持干预回复内容,并调整为回复话术,支持中英文、数字,最多支持500字符。 + 规则新建完成默认为“已禁用”状态,需要用户手动开启该规则。

调用、测试 - 图19

多轮对话:使用平台内置缓存,可实现大模型应用的多轮会话。开启后,可在测试窗或API调用中通过传入SessionID实现多轮会话。

调用、测试 - 图20

说明

存储实例和数据范围:检索增强应用支持关联ADB数据库,可以切换存储产品实例及检索范围,详情点击企业数据了解; 快速干预:可以干预输入/输出的内容。

应用调用

选择应用下方的调用按钮,页面跳转到API接口文档,按照内容进行调试调用即可。如您想测试应用可点击如何测试应用了解。

调用、测试 - 图21

反馈

上一篇: