显示设备及语音交互方法.pdf

(19)中华人民共和国国家知识产权局(12)发明专利申请(10)申请公布号CN114299940A(43)申请公布日2022.04.08(21)申请号202110577525.1(22)申请日2021.05.26(71)申请人海信视像科技股份有限公司地址266555山东省青岛市经济技术开发区前湾港路218号(72)发明人王峰(74)专利代理机构北京弘权知识产权代理有限公司11363代理人郭放许伟群(51)Int.Cl.G10L15/22(2006.01)G10L15/25(2013.01)H04N5/232(2006.01)G01S5/20(2006.01)权利要求书2页说明书15页附图9页(54)发明名称显示设备及语音交互方法(57)摘要本申请实施例提供了一种显示设备及语音交互方法，显示设备包括显示器，用于呈现用户界面；控制器，与显示器连接，控制器被配置为：获取目标人的用户身份信息，并采集语音实时指令，所述目标人包括发出所述唤醒指令的人或注册用户；在摄像头采集的图像中检测人脸信息；若人脸信息为目标人的人脸信息，对目标人进行人脸追踪和唇动检测，若目标人的人脸发生了唇动，且语音实时指令包括目标人的语音，对语音实时指令进行响应；若目标人的人脸没有发生唇动，或语音实时指令不包括目标人的语音，不对语音实时指令进行响应。本申请解决了语音交互体验不佳的技术问题。CN114299940ACN114299940A权利要求书1/2页1.一种显示设备，其特征在于，包括：显示器，用于呈现用户界面；摄像头，用于采集图像；控制器，与所述显示器连接，所述控制器被配置为：采集语音唤醒指令；响应于所述语音唤醒指令，获取目标人的用户身份信息，并采集语音实时指令，所述目标人包括发出所述唤醒指令的人或注册用户；在所述摄像头采集的图像中检测人脸信息；若检测到所述目标人的人脸信息，对所述目标人进行人脸追踪和唇动检测，若所述目标人的人脸发生了唇动，且所述语音实时指令包括所述目标人的语音，对所述语音实时指令进行响应；若所述目标人的人脸没有发生唇动，或所述语音实时指令不包括所述目标人的语音，不对所述语音实时指令进行响应。2.根据权利要求1所述的显示设备，其特征在于，在所述摄像头采集的图像中检测人脸信息，包括：对所述语音唤醒指令进行声源定位，得到唤醒声源位置；朝向所述唤醒声源位置转动摄像头，在转动过程中，在所述摄像头采集的图像中检测人脸信息，若检测到所述目标人的人脸信息，则控制所述摄像头停止转动。3.根据权利要求1所述的显示设备，其特征在于，对所述目标人进行人脸追踪和唇动检测，包括：获取所述摄像头拍摄的图像中目标人脸部的实时坐标范围；对所述实时坐标范围内的图像进行唇动检测。4.根据权利要求1所述的显示设备，其特征在于，对所述目标人进行人脸追踪和唇动检测，包括：获取所述摄像头拍摄的图像中目标人脸部的实时坐标范围；根据所述实时坐标范围的变化趋势控制所述摄像头进行转动，使所述目标人的人脸位于所述摄像头采集的图像中的预设区域内；对所述目标人脸部的图像进行唇动检测。5.根据权利要求1所述的显示设备，其特征在于，所述控制器还被配置为：若检测不到所述目标人的人脸，对所述语音实时指令进行声源定位，得到实时声源位置；朝向所述实时声源位置转动摄像头，在所述摄像头采集的图像中检测所述用户身份信息对应的目标人的人脸。6.根据权利要求1所述的显示设备，其特征在于，获取所述语音唤醒指令对应的用户身份信息，包括：对所述语音唤醒指令进行声纹识别，得到用户身份信息，所述用户身份信息包括目标人的声纹信息。7.根据权利要求1所述的显示设备，其特征在于，对所述语音实时指令进行响应，包括：若所述摄像头拍摄的图像中只包括了所述目标人的单人人脸，将所述唤醒声源位置对2CN114299940A权利要求书2/2页应的语音进行定向语音增强；对定向语音增强后的语音实时指令进行响应。8.根据权利要求1所述的显示设备，其特征在于，对所述语音实时指令进行响应，包括：若所述语音实时指令包含了多路语音，从所述语音实时指令中分离出所述目标人的单路语音；根据所述目标人的单路语音进行响应。9.根据权利要求1所述的显示设备，其特征在于，所述控制器还被配置为：在采集到所述语音实时指令后，向服务器发送所述语音实时指令，使所述服务器对所述语音实时指令进行声纹识别、语音识别和语义识别，得到识别结果；接收所述服务器对所述语音实时指令的识别结果。10.一种语音交互方法，其特征在于，包括：采集语音唤醒指令；响应于所述语音唤醒指令，获取目标人的用户身份信息，并采集语音实时指令，所述目标人包括发出所述唤醒指令的人或注册用户；在摄像头采集的图像中检测人脸信息；若检测到所述目标人的人脸信息，对所述目标人进行人脸追踪和唇动检测，若所述目标人的人脸发生了唇动，且所述语音实