增强现实AR信息显示方法、装置、系统及存储介质.pdf

(19)中华人民共和国国家知识产权局(12)发明专利申请(10)申请公布号CN114115527A(43)申请公布日2022.03.01(21)申请号202111280002.7(22)申请日2021.10.29(71)申请人北京百度网讯科技有限公司地址100085北京市海淀区上地十街10号百度大厦二层(72)发明人陈睿智(74)专利代理机构北京清亦华知识产权代理事务所(普通合伙)11201代理人单冠飞(51)Int.Cl.G06F3/01(2006.01)G06T17/00(2006.01)G06T19/00(2011.01)G06V40/18(2022.01)权利要求书3页说明书9页附图5页(54)发明名称增强现实AR信息显示方法、装置、系统及存储介质(57)摘要本申请公开了增强现实AR信息显示方法、装置、系统及存储介质，涉及计算机视觉、增强/虚拟现实等技术领域。具体实现方案为：获取摄像头阵列所采集的目标用户的多帧视频图像；根据多帧视频图像，获取目标用户的眼球位置信息和视觉方向信息；根据眼球位置信息和视觉方向信息，获取目标AR信息，并将目标AR信息投射到显示屏上进行AR显示。根据目标用户的眼球位置信息和视觉方向信息，触发获取目标AR信息，并将目标AR信息投射到显示屏上进行显示，提供更多的信息展示机会，同时为目标用户增加摄取信息的广度和趣味性。CN114115527ACN114115527A权利要求书1/3页1.一种增强现实AR信息显示方法，包括：获取摄像头阵列所采集的目标用户的多帧视频图像；根据所述多帧视频图像，获取目标用户的眼球位置信息和视觉方向信息；根据所述眼球位置信息和视觉方向信息，获取目标AR信息，并将所述目标AR信息投射到显示屏上进行AR显示。2.根据权利要求1所述的方法，其中，所述根据所述多帧视频图像，获取目标用户的眼球位置信息和视觉方向信息，包括：根据所述多帧视频图像，通过运动估计形状SFM算法获取目标用户人脸的三维重建模型；根据所述三维重建模型，获取目标用户的眼球位置信息和视觉方向信息。3.根据权利要求2所述的方法，其中，所述根据所述三维重建模型，获取目标用户的眼球位置信息和视觉方向信息，包括：根据所述三维重建模型，通过人脸特征点检测方法获取目标用户的眼球位置信息和视觉方向信息。4.根据权利要求1所述的方法，其中，所述根据所述眼球位置信息和视觉方向信息，获取目标AR信息，并将所述目标AR信息投射到所述显示屏上进行AR显示，包括：响应于所述眼球位置信息满足距离阈值，根据所述视觉方向信息，获取目标AR信息；将所述目标AR信息投射到所述显示屏，令所述目标AR信息在所述显示屏的目标显示区域内进行AR显示；其中，所述目标显示区域为基于所述视觉方向和视野范围阈值获取的。5.根据权利要求4所述的方法，其中，所述根据所述视觉方向信息，获取目标AR信息，包括：根据所述视觉方向信息，获取所述视觉方向信息所属的视觉范围；根据所述视觉范围，从预存的AR素材中获取目标AR信息；其中，所述AR素材包括多个根据不同视觉范围存储的AR信息。6.根据权利要求1所述的方法，其中，所述方法还包括：获取用户办理会员卡时的人脸图像；基于所述人脸图像和所述多帧视频图像，获取目标用户的身份信息；根据所述身份信息，获取目标用户的会员卡消费信息，并根据所述会员卡消费信息获取目标用户的消费偏好；根据所述目标用户的消费偏好，获取目标广告信息。7.根据权利要求6所述的方法，其中，所述根据所述眼球位置信息和视觉方向信息，获取目标AR信息，并将所述目标AR信息投射到显示屏上进行AR显示，包括：根据所述眼球位置信息和视觉方向信息，获取目标AR信息并将其投射到显示屏上进行AR显示，以及将所述目标广告信息投射到所述显示屏上进行显示。8.一种增强现实AR信息显示装置，包括：图像获取模块，用于获取摄像头阵列所采集的目标用户的多帧视频图像；信息获取模块，用于根据所述多帧视频图像，获取目标用户的眼球位置信息和视觉方向信息；触发显示模块，用于根据所述眼球位置信息和视觉方向信息，获取目标AR信息，并将所2CN114115527A权利要求书2/3页述目标AR信息投射到显示屏上进行AR显示。9.根据权利要求8所述的装置，其中，所述信息获取模块，具体用于：根据所述多帧视频图像，通过运动估计形状SFM算法获取目标用户人脸的三维重建模型；根据所述三维重建模型，获取目标用户的眼球位置信息和视觉方向信息。10.根据权利要求9所述的装置，其中，所述信息获取模块在根据所述三维重建模型，获取目标用户的眼球位置信息和视觉方向信息时，用于：根据所述三维重建模型，通过人脸特征点检测方法获取目标用户的眼球位置信息和视觉方向信息。11.根据权利要求8所述的装置，其中，所述触发显示模块，具体用于：响应于所述眼球位置