一种实现多人混合虚拟和增强现实交互的系统及方法.pdf

(19)中华人民共和国国家知识产权局(12)发明专利申请(10)申请公布号CN112884906A(43)申请公布日2021.06.01(21)申请号202110030565.4(22)申请日2021.01.11(71)申请人宁波诺丁汉大学地址315100浙江省宁波市鄞州区泰康东路199号(72)发明人李月庄以仁(74)专利代理机构宁波甬致专利代理有限公司33228代理人潘李亮(51)Int.Cl.G06T19/00(2011.01)G06T19/20(2011.01)权利要求书1页说明书4页附图1页(54)发明名称一种实现多人混合虚拟和增强现实交互的系统及方法(57)摘要本发明涉及人机交互技术领域，尤其涉及一种实现多人混合虚拟和增强现实交互的系统及方法。它包括服务器、VR终端以及AR终端，所述VR终端与AR终端均与服务器通信连接，其中：VR终端，用于产生VR交互数据信息，且还能接收服务器反馈回来的VR数据信息并且根据接收到的数据信息更新渲染；AR终端，用于产生AR交互数据信息，且还能接收服务器反馈回来的AR数据信息；服务器，用于接收VR终端与AR终端发送的数据信息，更新场景，进行数据转换。采用这种系统和方法，可以基于现有的可穿戴或手持设备连接VR和AR，使得拥有不同设备、基于不同平台的用户感受不同程度的仿真和交互体验。CN112884906ACN112884906A权利要求书1/1页1.一种实现多人混合虚拟和增强现实交互的系统，其特征在于：它包括服务器、VR终端以及AR终端，所述VR终端与AR终端均与服务器通信连接，其中：VR终端，用于产生VR交互数据信息，且还能接收服务器反馈回来的VR数据信息并且根据接收到的数据信息更新渲染；AR终端，用于产生AR交互数据信息，且还能接收服务器反馈回来的AR数据信息并且根据接收到的数据信息更新渲染；服务器，用于接收VR终端与AR终端发送的数据信息，更新场景，进行数据转换，然后将转换后各自可识别的数据反馈给VR终端与AR终端。2.一种实现多人混合虚拟和增强现实交互的方法，其特征在于，它包括以下步骤：S1、用户通过VR终端或者AR终端发起交互行为；S2、服务器提取用户信息与交互数据；S3、服务器加载数据，并且将数据更新成服务器可处理的数据类型；S4、服务器将数据分别转化为不同用户终端可接收的数据格式；S5、服务器将转化完成的数据分别发送给对应的用户终端，使所有的用户终端实现与服务器的数据同步；S6、所有的用户终端根据接收到服务器发送回来的数据进行渲染。3.根据权利要求2所述的一种实现多人混合虚拟和增强现实交互的方法，其特征在于：步骤S2中的用户信息包括用户终端设备信息，且步骤S2还包括获取连接服务器的所有其他用户终端设备信息，步骤S4根据获取的其他用户终端设备信息来分别转化为对应的可接收数据格式。4.根据权利要求2所述的一种实现多人混合虚拟和增强现实交互的方法，其特征在于：步骤S5中需要在下一帧渲染前将转化好的数据发送给用户终端，完成数据同步。5.根据权利要求2所述的一种实现多人混合虚拟和增强现实交互的方法，其特征在于：步骤S5中若用户终端为AR终端，则需要判断AR终端的性能是否符合要求，若符合要求，则进行场景式AR更新，若不符合要求，则进行虚拟物体式AR更新，其中：场景式AR更新为利用平面追踪，使得整个虚拟场景及其中的虚拟物体均被增强在周围实体环境中；虚拟物体式AR更新为利用平面追踪或图像识别技术，使得虚拟物体被增强在周围实体环境中。2CN112884906A说明书1/4页一种实现多人混合虚拟和增强现实交互的系统及方法技术领域[0001]本发明涉及人机交互技术领域，尤其涉及一种实现多人混合虚拟和增强现实交互的系统及方法。背景技术[0002]虚拟现实(VirtualReality)技术，简称VR，是一种利用计算机图形创建虚拟环境的仿真系统。它通过计算机生成的模拟三维动态实景环境，通过多元信息融合和实体行为仿真，使用户沉浸到该环境中并与其进行交互。[0003]增强现实(AugmentedReality)技术，简称AR，是一种利用计算机仿真信息增加用户对现实世界感知的技术。它将计算机生成的模拟三维模型、场景和系统信息叠加在真实场景中，通过多元信息融合，使用户对的现实世界的感知得以增强。[0004]当前两种技术各有不同的显示方式，如头戴式显示系统、手持式显示设备等；根据显示方式和硬件设备的不同，两种技术分别采用了不同的追踪方式，如外置传感器追踪和内置惯性测量单元(IMU)等等。除此以外，VR和AR技术可以提供给用户不同程度的临场感和不同的交互体验。当前，VR技术大多基于PC终端和大型设备，而AR技术则大多基于移动终端和便携式设备。跨平台、多设备的连接是未来虚拟现实和增强现实发展的趋势，也是使得VR和