用户在多模态交互中的对话方法及系统.pdf

(19)中华人民共和国国家知识产权局(12)发明专利申请(10)申请公布号CN110136713A(43)申请公布日2019.08.16(21)申请号201910396697.1G06F3/041(2006.01)(22)申请日2019.05.14(71)申请人苏州思必驰信息科技有限公司地址215123江苏省苏州市苏州工业园区新平街388号腾飞创新园14栋(72)发明人龚建明朱成亚甘津瑞(74)专利代理机构北京商专永信知识产权代理事务所(普通合伙)11400代理人方挺车江华(51)Int.Cl.G10L15/22(2006.01)G10L15/26(2006.01)G10L15/18(2013.01)G10L15/04(2013.01)H04L29/08(2006.01)权利要求书2页说明书10页附图3页(54)发明名称用户在多模态交互中的对话方法及系统(57)摘要本发明公开一种用户在多模态交互中的对话方法，包括,建立语义对应关系。建立语义指令集。通过交互设备获取当前对话语段，所述交互设备为能够实现多模态信息输入的交互设备。根据当前对话语段调用所述语义对应关系，获取当前语义信息。根据所述当前语义信息调用所述语义指令集，获取当前本地执行指令。执行所述当前本地执行指令并将执行结果显示在用户对话端。同步本地缓存数据到云端服务来解决的。在一轮对话结束之后，或者用户切换对话话题，比如从天气，切换到音乐，又想进行天气相关话题的对话，就是由于上述方案中，支持客户端将对话状态同步到云端服务中来解决的。CN110136713ACN110136713A权利要求书1/2页1.用户在多模态交互中的对话方法，包括：步骤S101，建立语义对应关系，所述语义对应关系为多个对话语段与多个语义信息的一一对应关系；步骤S102，建立语义指令集，所述语义指令集是指：所述多个语义信息与多个本地执行指令之间的对应关联所组成的集合；步骤S103，通过交互设备获取当前对话语段，所述交互设备为能够实现多模态信息输入的交互设备；步骤S104，根据所述当前对话语段调用所述语义对应关系，获取当前语义信息；步骤S105，根据所述当前语义信息调用所述语义指令集，获取当前本地执行指令；步骤S106，执行所述当前本地执行指令并将执行结果显示在用户对话端；所述用户对话端为用户本地端。2.根据权利要求1所述的对话方法，其中，所述步骤S103中包括：步骤S1031a，通过所述交互设备获取当前语音信息及当前文本信息；步骤S1032a，将所述当前语音信息通过语音识别转换为当前文本字段；步骤S1033a，将所述当前文本信息或所述当前文本字段确定为所述当前对话语段。3.根据权利要求1所述的对话方法，其中，所述交互设备包括能够作为输入设备的触屏；所述步骤S103中包括：建立事件对应关系，所述事件对应关系为多个事件操作信息与多个对话语段的一一对应关系，所述多个事件操作信息为用户对所述触屏进行单点敲击或者双击或者沿单线轨迹滑动或者沿双线轨迹滑动时，所述触屏能够获取的信息；步骤S1031b，通过所述交互设备接收当前事件操作信息，所述当前事件操作信息包括在所述事件操作信息中；步骤S1032b，根据所述当前事件操作信息调用所述事件对应关系获取当前对话语段。4.根据权利要求1所述的对话方法，其中，所述多个语义信息中包括：接收检索字符的字符段、调用地图字符段、调用系统操作字符段、屏幕放大及屏幕缩小字符段；所述多个本地执行指令包括：检索并显示本地数据、检索并显示本地地图、显示本地对话框、执行系统调用、屏幕局部区域图像放大指令及屏幕局部区域图像缩小指令。5.根据权利要求1所述的对话方法，其中，所述多个本地执行指令中包括调用本地数据的执行指令及调用远程数据的执行指令；所述步骤S106中包括：步骤S1061，若所述当前本地执行指令是调用本地数据的执行指令，则调用当前本地数据，根据所述当前本地数据执行所述当前本地执行指令并将执行结果显示在用户对话端；及步骤S1062，若所述当前本地执行指令是调用远程数据的执行指令，则建立远程数据链接，从远程调用当前远程数据，根据所述当前远程数据执行所述当前本地执行指令并将执行结果显示在用户对话端。6.根据权利要求5所述的对话方法，其中，所述S1062中还包括：若不能建立远程数据链接，则定时对远程网络信号进行检测；2CN110136713A权利要求书2/2页若能检测到远程网络信号，则建立远程数据链接。7.用户在多模态交互中的对话系统，包括：语义对应关系单元，其配置为建立所述语义对应关系为多个对话语段与多个语义信息的一一对应关系；语义指令集单元，其配置为建立所述多个语义信息与多个本地执行指令之间的对应关联，该关联所组成的集合；当前对话语段获取单元，其配置为通过交互设备获取当前对话语段，所述交互设备