一种基于多人视角定位空间交互AR实现方法和系统.pdf

(19)中华人民共和国国家知识产权局(12)发明专利申请(10)申请公布号CN113342167A(43)申请公布日2021.09.03(21)申请号202110632319.6(22)申请日2021.06.07(71)申请人深圳市金研微科技有限公司地址518000广东省深圳市龙华区龙华街道三联社区三联创业路19号弓村新城商业中心（汇海广场）C座21层(72)发明人谢滨丞谢源李敏姚成忠(74)专利代理机构北京冠和权律师事务所11399代理人赵银萍(51)Int.Cl.G06F3/01(2006.01)G06T15/00(2011.01)G06T19/00(2011.01)G06K9/00(2006.01)权利要求书5页说明书15页附图2页(54)发明名称一种基于多人视角定位空间交互AR实现方法和系统(57)摘要本发明提出了一种基于多人视角定位空间交互AR实现方法和系统。所述方法包括：获取多用户位于真实空间中的视角、位置及行为动作，并将视角、位置及行为动作对应的参数赋值给三维虚拟渲染引擎；所述三维虚拟渲染引擎根据获取的数据属性创建虚拟空间或虚拟对象；将已经渲染创建过的虚拟空间或虚拟对象发送给多人佩戴的AR眼镜设备；依据AR眼镜的光学视觉成像，将真实空间中的真实物体和由三维虚拟引擎渲染创建的虚拟场景中的虚拟物体进行叠加融合。所述系统包括与所述方法步骤对应的模块。CN113342167ACN113342167A权利要求书1/5页1.一种基于多人视角定位空间交互AR实现方法，其特征在于，多个用户佩戴AR设备，所述方法包括：获取多用户位于真实空间中的视角、位置及行为动作，并将视角、位置及行为动作对应的参数赋值给三维虚拟渲染引擎；所述三维虚拟渲染引擎根据获取的数据属性创建虚拟空间或虚拟对象；将已经渲染创建过的虚拟空间或虚拟对象发送给多人佩戴的AR眼镜设备；依据AR眼镜的光学视觉成像，将真实空间中的真实物体和由三维虚拟引擎渲染创建的虚拟场景中的虚拟物体进行叠加融合。2.根据权利要求1所述方法，其特征在于，所述获取多用户位于真实空间中的视角、位置及行为动作，包括：通过多个用户佩戴的AR设备采集每个用户之间的相互位置和真实物体相对位置，利用所述相互位置和相对位置确定用户所在位置并进行用户实时活动的数据反馈；通过AR设备实时采集用户的面部表情，对所述面部表情进行分析获取用户当前心情变化特性和模拟语言沟通张嘴变化程度；利用AR采集的真实空间三维物体图像，通过实时采集的真实空间三维物体图像对所述真实空间三维物体位置和形态进行检测，并进行虚拟对象真实感绘制，获得虚拟绘制图像；多个用户之间实时进行进场通信分享虚拟对象交互数据，通过多用户之间的虚拟对象交互数据增强每个用户AR设备的虚拟渲染强度。3.根据权利要求2所述方法，其特征在于，通过多个用户佩戴的AR设备采集每个用户之间的相互位置和真实物体相对位置，利用所述相互位置和相对位置确定用户所在位置并进行用户实时活动的数据反馈，包括：利用多个用户佩戴的AR设备的前置摄像头采集用户所在空间内，用户自身与其他用户之间的相互位置；利用多个用户佩戴的AR设备的前置摄像头采集用户所在空间内真实物体的相对位置；利用三位虚拟渲染引擎针对所述相互位置和相对位置进行计算获取每个用户彼此之间的真实位置，用户所在空间内所处位置以及用户之间的交互行为；将实时采集获取到用户实时相互位置以及用户所在空间内的真实物体实际相对位置进行实时数据反馈至所述三位虚拟渲染引擎，所述三位虚拟渲染引擎利用接收到的反馈数据实时更新变化虚拟渲染中的用户位置以及真实物体相对位置。4.根据权利要求2所述方法，其特征在于，通过AR设备实时采集用户的面部表情，对所述面部表情进行分析获取用户当前心情变化特性和模拟语言沟通张嘴变化程度，包括：通过用户佩戴AR设备的前置摄像头实时采集用户所在空间内其他用户的面部视频图像；利用人脸追踪方法从所述面部视频图像中捕捉其他用户的面部表情；对其他用户的面部表情进行数据化表情分析，获得其他用户当前的心情变化特征以及嘴部开合动作特点；所述三位虚拟渲染引擎针通过其他用户的嘴部开合动作特点模拟语言沟通嘴部开合变化程度。5.根据权利要求2所述方法，其特征在于，所述对其他用户的面部表情进行数据化表情2CN113342167A权利要求书2/5页分析，获得其他用户当前的心情变化特征以及嘴部开合动作特点，包括：实时采集用户的面部表情特征和面部动作，并判断用户嘴部是否存在动作；当判断用户嘴部出现第一个动作时，在第一时间段内针对用户嘴部进行连续监控，判断用户嘴部在第一时间段内是否存在连续嘴部动作，其中，所述第一时间段为30——40s；如果第一时间段内检测到用户嘴部没有进行连续的嘴部动作，则设置第二时间段，如果在第二时间段内，用户依然没有嘴部连续动作，则