语音交互装置和方法.pdf

(19)中华人民共和国国家知识产权局(12)发明专利申请(10)申请公布号CN106373569A(43)申请公布日2017.02.01(21)申请号201610806384.5G10L13/08(2013.01)(22)申请日2016.09.06G06K9/00(2006.01)(71)申请人北京地平线机器人技术研发有限公司地址100085北京市海淀区上地信息路1号（北京实创高科技发展总公司1-1号，1-2号）1-1幢2层A栋02-114号(72)发明人曹立新(74)专利代理机构北京市正见永申律师事务所11497代理人黄小临冯玉清(51)Int.Cl.G10L15/22(2006.01)G10L15/26(2006.01)G10L15/08(2006.01)权利要求书3页说明书12页附图7页(54)发明名称语音交互装置和方法(57)摘要本申请涉及语音交互装置和方法。在一示例性实施例中，一种语音交互方法可包括：接收来自人类用户的第一语音输入和与所述第一语音输入相关联的第一表情图像输入；识别所述第一语音输入的第一语义；识别所述第一表情图像输入的第一表情；基于所述第一语义和所述第一表情确定与所述第一语义相关联的第一置信度；以及基于所述第一语义和所述第一置信度来生成第一响应信息。通过利用表情和语义来产生响应信息，该方法可以改善人机语音交互过程中人类用户的体验。CN106373569ACN106373569A权利要求书1/3页1.一种语音交互方法，包括：接收来自人类用户的第一语音输入和与所述第一语音输入相关联的第一表情图像输入；识别所述第一语音输入的第一语义；识别所述第一表情图像输入的第一表情；基于所述第一语义和所述第一表情确定与所述第一语义相关联的第一置信度；以及基于所述第一语义和所述第一置信度来生成第一响应信息。2.如权利要求1所述的方法，其中，确定与所述第一语义相关联的第一置信度包括：为所述第一语义分配一默认置信度；以及基于所述第一表情来调整所述默认置信度，包括：当所述第一表情是肯定性表情时，增大所述默认置信度；当所述第一表情是否定性表情时，减小所述默认置信度；以及当所述第一表情是除了所述肯定性表情和所述否定性表情之外的中性表情时，维持所述默认置信度不变。3.如权利要求1所述的方法，其中，确定与所述第一语义相关联的第一置信度还包括：判断所述第一语义中是否含有情绪关键词；如果所述第一语义中不含有情绪关键词，则执行所述基于所述第一表情来调整所述默认置信度的步骤；如果所述第一语义中含有情绪关键词，则判断所述情绪关键词与所述第一表情是否匹配；如果所述情绪关键词与所述第一表情相匹配，则增大所述默认置信度；以及如果所述情绪关键词与所述第一表情不匹配，则执行所述基于所述第一表情来调整所述默认置信度的步骤。4.如权利要求1所述的方法，确定与所述第一语义相关联的第一置信度还包括：判断所述第一语义的语义类型；如果所述第一语义的语义类型是疑问，则增大所述默认置信度；以及如果所述第一语义的语义类型是陈述或要求，则执行所述基于所述第一表情来调整所述默认置信度的步骤。5.如权利要求1所述的方法，其中，基于所述第一语义和所述第一置信度来生成第一响应信息包括：当所述第一置信度在预定阈值以上时，则生成包括与所述第一语义直接相关联的内容的第一响应信息；当所述第一置信度低于所述预定阈值时，则生成请求所述人类用户确认所述第一语义的第一响应信息。6.如权利要求5所述的方法，其中，当所述第一置信度低于所述预定阈值时所生成的第一响应信息还包括与所述第一语义间接相关联的内容。7.如权利要求1所述的方法，其中，基于所述第一语义和所述第一置信度来生成第一响应信息包括：当所述第一置信度在预定阈值以上时，则生成包括与所述第一语义直接相关联的内容2CN106373569A权利要求书2/3页的第一响应信息；当所述第一置信度低于所述预定阈值时，则将所述第一置信度与第二置信度相比较，所述第二置信度是与所述人类用户的就在所述第一语音输入之前的一个语音输入相关联的置信度；如果所述第一置信度在所述第二置信度以上，则生成请求所述人类用户确认所述第一语义的第一响应信息；以及如果所述第一置信度低于所述第二置信度，则生成请求所述人类用户确认所述第一语义、以及包括与所述第一语义间接相关联的内容的第一响应信息。8.如权利要求1所述的方法，还包括按照与所述第一表情对应的语气将所述第一响应信息合成为语音以播放给所述人类用户。9.一种语音交互装置，包括：语音识别模块，配置为识别来自人类用户的第一语音输入的第一语义；图像识别模块，配置为识别来自所述人类用户的与所述第一语音输入相关联的第一表情图像输入的第一表情；置信度单元，配置为基于所述第一语义和所述第一表情来确定与所述第一语义相关联的第一置信度；以及响应生成单元，配