AIUI接入概述

交互接入

接入方式

SDK

WebSocket

硬件

WebSocketAPI接入

示例代码

WebSocket DEMO

接口说明

1. 设备有vad功能，交互时序：
   
2. 设备无vad功能，依赖云端vad，交互时序：
   

精简协议接入

概览

精简协议内容

1. 新增service_pkg字段，表示技能的精简协议类型，将官方媒资类技能统一打包，通过 service_pkg=”media”标识；客户端只需要判断该字段即可对媒资类技能统一处理；
2. 针对媒资类技能，data.result字段只保留4个：

1. 针对媒资类技能，data.result数组长度缩减到5条。

1. 新增service_pkg字段，表示技能的精简协议类型，将播报类技能统一打包，通过 service_pkg=”broadcast”标识；客户端只需要判断该字段即可对播报类技能统一处理；
2. 播报类技能，data.result数组中不再返回数据。

精简协议技能列表

离线命令词

概览

接入使用

添加配置

"speech":{
        "intent_engine_type":"mixed"
    },
    "esr":{
        "engine_type": "wfst_fsa",
        "pgs_enable": "1",
        "res_type":"assets",
        "res_path":"esr/common.jet",
        "preloads": [
            {
                "id": 0,
                "res_type": "assets",
                "res_path": "esr/contact.jet"
            }
        ]
    },

配置文件说明

• cloud 纯云端解析，全部使用云端语义和听写功能，只返回在线结果

• local 纯离线命令词解析，只使用本地的离线命令词功能，只返回离线结果

• mixed 云端本地同时解析，返回最快的有效结果

• pipe 本地优先解析，如果有效即返回如果无效请求在线语义返回结果

• wfst 离线听写模式
• wfst_fsa 离线听写+离线命令词匹配模式
• fsa 离线命令词匹配模式

• 1 开启
• 0 关闭

编写语法文件

#FSA 1.0;
0    1    <action>
1    2    <contact>
2    3    -
2    3    <phoneType>
;
<action>:拨打|呼叫|打电话给;
<contact>:张三|李四;
<phoneType>:移动号码|家庭号码|单位号码;

• 以#开头的行表示注释行；
• 以<开头表示slot槽定义，冒号后面是slot的值定义。slot的即可以在语法文件中定义，也可以通过下面章节介绍的方式进行更新；
• 以数字开头行表示句式网络定义，上面示例语法网络定义可视化表示如下：

翻译模式

概览

用户：今天天气？
翻译模式：How is the weather today?
天气技能：天气晴
用户：苹果翻译成英语
翻译模式：Translate apples into English
翻译技能：apple

使用方法

流式识别

概览

流式识别：边说边返回识别结果

开启方法

参数说明

{"sn":1,"ls":false,"bg":0,"ed":0,"pgs":"apd","ws":[{"bg":0,"cw":[{"sc":0.00,"w":"给"}]}]}
{"sn":2,"ls":false,"bg":0,"ed":0,"pgs":"rpl","rg":[1,1],"ws":[{"bg":0,"cw":[{"sc":0.00,"w":"给"}]},{"bg":0,"cw":[{"sc":0.00,"w":"1385"}]}]}
{"sn":3,"ls":false,"bg":0,"ed":0,"pgs":"rpl","rg":[1,2],"ws":[{"bg":0,"cw":[{"sc":0.00,"w":"给"}]},{"bg":0,"cw":[{"sc":0.00,"w":"13856"}]}]}
{"sn":4,"ls":false,"bg":0,"ed":0,"pgs":"rpl","rg":[1,3],"ws":[{"bg":0,"cw":[{"sc":0.00,"w":"给"}]},{"bg":0,"cw":[{"sc":0.00,"w":"138569"}]}]}
......
{"sn":21,"ls":false,"bg":0,"ed":0,"pgs":"rpl","rg":[1,20],"ws":[{"bg":0,"cw":[{"sc":0.00,"w":"给"}]},{"bg":0,"cw":[{"sc":0.00,"w":"13856901234"}]},{"bg":0,"cw":[{"sc":0.00,"w":"充"}]},{"bg":0,"cw":[{"sc":0.00,"w":"100"}]},{"bg":0,"cw":[{"sc":0.00,"w":"元"}]},{"bg":0,"cw":[{"sc":0.00,"w":"话费"}]}]}
{"sn":22,"ls":true,"bg":0,"ed":0,"pgs":"apd","ws":[{"bg":0,"cw":[{"sc":0.00,"w":"。"}]}]}

• sn：当前的结果id
• ls：是否为最后一条结果
• pgs：结果处理字段，apd（追加结果），rpl（替换结果）
• rg：替换范围

语义VAD

功能

开启方法

//这是本地的 VAD 后端点时长， 语义vad只会等 1.8s，所以本地可以设置为 2s
    "vad_eos":"2000",
    //开启云端 VAD 的配置
    "cloud_vad_info":"end"

发音人列表

发音人列表