预览加载中,请您耐心等待几秒...
1/10
2/10
3/10
4/10
5/10
6/10
7/10
8/10
9/10
10/10

亲,该文档总共14页,到这已经超出免费预览范围,如果喜欢就直接下载吧~

如果您无法下载资料,请参考说明:

1、部分资料下载需要金币,请确保您的账户上有足够的金币

2、已购买过的文档,再次下载不重复扣费

3、资料包下载后请先用软件解压,在使用对应软件打开

(19)中华人民共和国国家知识产权局(12)发明专利申请(10)申请公布号CN110727346A(43)申请公布日2020.01.24(21)申请号201910903943.8(22)申请日2019.09.24(71)申请人中国第一汽车股份有限公司地址130011吉林省长春市长春汽车经济技术开发区东风大街8899号(72)发明人祁旭王祎男裴丽珊曲白雪(74)专利代理机构北京远智汇知识产权代理有限公司11659代理人范坤坤(51)Int.Cl.G06F3/01(2006.01)G06K9/00(2006.01)权利要求书2页说明书7页附图4页(54)发明名称一种人机交互方法、装置、车辆及存储介质(57)摘要本发明实施例公开了一种人机交互方法、装置、车辆及存储介质。该方法包括:解析所捕捉的语音指令,得到所述语音指令中指令意图对应的指令目标集合,采集用户的多模态信息,所述多模态信息包括手势信息、肢体信息和面部信息中的至少一种,根据所述多模态信息,确定所述指令目标集合中与所述多模态信息匹配的指令目标,并反馈给所述用户确认。与现有技术相比,本方案在语音指令的基础上结合用户的多模态信息锁定最终的指令目标,无需多轮对话,提高了指令目标确定的准确性和快速性。CN110727346ACN110727346A权利要求书1/2页1.一种人机交互方法,其特征在于,包括:解析所捕捉的语音指令,得到所述语音指令中指令意图对应的指令目标集合;采集用户的多模态信息,所述多模态信息包括手势信息、肢体信息和面部信息中的至少一种;根据所述多模态信息,确定所述指令目标集合中与所述多模态信息匹配的指令目标,并反馈给所述用户确认。2.根据权利要求1所述的方法,其特征在于,所述解析所捕捉的语音指令,得到所述语音指令中指令意图对应的指令目标集合,包括:捕捉用户的语音指令;对所述语音指令中的关键词进行语义解析,得到所述语音指令对应的指令意图;根据所述指令意图,确定对应的指令目标集合,所述指令目标集合中包含至少一个符合所述指令意图的指令目标。3.根据权利要求1所述的方法,其特征在于,所述根据所述多模态信息,确定所述指令目标集中与所述多模态信息匹配的指令目标,包括:识别所述手势信息对应的手势动作、肢体信息对应的肢体动作以及面部信息中眼球的视线和面部表情;根据所述手势动作、肢体动作、眼球的视线和/或面部表情,确定所述指令目标集合中与所述多模态信息匹配的指令目标。4.根据权利要求1-3任一项所述的方法,其特征在于,在解析所捕捉的语音指令之前,还包括:捕获唤醒信号,唤醒与用户交互的交互对象。5.根据权利要求4所述的方法,其特征在于,在反馈给所述用户确认之后,还包括:接收所述用户对所述指令目标的确认信息;响应所述指令目标。6.一种人机交互装置,其特征在于,包括:解析模块,用于解析所捕捉的语音指令,得到所述语音指令中指令意图对应的指令目标集合;信息采集模块,用于采集用户的多模态信息,所述多模态信息包括手势信息、肢体信息和面部信息中的至少一种;目标确定模块,用于根据所述多模态信息,确定所述指令目标集合中与所述多模态信息匹配的指令目标,并反馈给所述用户确认。7.根据权利要求6所述的装置,其特征在于,所述解析模块,具体用于:捕捉用户的语音指令;对所述语音指令中的关键词进行语义解析,得到所述语音指令对应的指令意图;根据所述指令意图,确定对应的指令目标集合,所述指令目标集合中包含至少一个符合所述指令意图的指令目标。8.根据权利要求6所述的装置,其特征在于,所述目标确定模块,具体用于:识别所述手势信息对应的手势动作、肢体信息对应的肢体动作以及面部信息中眼球的视线和面部表情;2CN110727346A权利要求书2/2页根据所述手势动作、肢体动作、眼球的视线和/或面部表情,确定所述指令目标集合中与所述多模态信息匹配的指令目标。9.一种车辆,其特征在于,包括:车机系统,用于与用户交互;通信终端,用于与其他终端通信;一个或多个处理器;存储器,用于存储一个或多个程序;当所述一个或多个程序被所述一个或多个处理器执行,使得所述一个或多个处理器实现如权利要求1-5中任一项所述的人机交互方法。10.一种存储介质,其上存储有计算机程序,其特征在于,该程序被处理器执行时实现如权利要求1-5中任一项所述的人机交互方法。3CN110727346A说明书1/7页一种人机交互方法、装置、车辆及存储介质技术领域[0001]本发明实施例涉及人机交互技术领域,尤其涉及一种人机交互方法、装置、车辆及存储介质。背景技术[0002]随着技术的发展,越来越多的车辆上增加了语音识别或手势识别等功能,通过语音或手势与车机系统交互,使车机系统明确驾驶员的指令目标,从而减少驾驶员的手动操作,避免驾驶员分心,增强驾驶安全。[0003]这种交互方式目前只