感官增强的增强现实和虚拟现实装置.pdf

(19)中华人民共和国国家知识产权局(12)发明专利申请(10)申请公布号CN108734629A(43)申请公布日2018.11.02(21)申请号201810338084.8(74)专利代理机构上海专利商标事务所有限公司31(22)申请日2018.04.16100代理人李炜黄嵩泉(30)优先权数据15/488,6662017.04.17US(51)Int.Cl.G06T1/20(2006.01)(71)申请人英特尔公司G06T1/60(2006.01)地址美国加利福尼亚州(72)发明人A·考克M·阿波达卡K·肖C·萨科斯维尔J·S·波尔斯A·T·莱克J·M·霍兰P·凯S·拉希瑞R·文卡特拉曼K·辛哈A·N·沙阿D·S·范巴尔A·R·阿普J·雷E·乌尔德-阿迈德-瓦尔权利要求书5页说明书48页附图38页(54)发明名称感官增强的增强现实和虚拟现实装置(57)摘要本申请公开了感官增强的增强现实和虚拟现实装置。系统、设备和方法可以提供一种用于使用从位于一个或多个物理环境中的传感器采集的环境信息来增强增强现实(AR)和/或虚拟现实(VR)用户体验的方式。更具体地，系统、设备和方法可以提供一种用于由眼睛跟踪器传感器跟踪用户的注视并且由所述传感器采集环境信息的方式。系统、设备和方法可以由一个或多个反馈装置或显示装置基于所述用户的所述注视针对所述环境信息的一部分来渲染反馈。CN108734629ACN108734629A权利要求书1/5页1.一种感官增强的增强现实和虚拟现实系统，所述系统包括：电源，用于向所述系统提供电力；基础设施传感器，用于采集环境的环境信息；感官增强设备，包括：设备传感器，包括眼睛跟踪器传感器、以及用于采集所述环境信息的至少一部分的两个或更多个话筒或相机，其中，所述眼睛跟踪器传感器跟踪用户的注视；以及一个或多个反馈装置，其中，所述反馈装置中的一个或多个基于在所述用户的所述注视之外采集的所述环境信息来渲染反馈。2.如权利要求1所述的系统，其中，所述眼睛跟踪器传感器基于所述用户的所述注视来计算所述用户的视场，其中，所述环境信息包括局部环境信息和全局环境信息，其中，所述环境信息包括标识所述环境中的表面、物理对象和属性的几何数据，其中，所述基础设施传感器包括两个或更多个本地传感器、远程传感器，其中，所述设备传感器包括两个或更多个右向传感器、左向传感器或后向传感器，所述感官增强设备进一步包括：所述传感器注册到的一个或多个信息合成器；校准装置，用于校准所述用户的定向，其中，所述一个或多个信息合成器基于所述用户的所述注视或者所述传感器中的一个或多个来确定所述用户或者所述环境中的一个或多个对象的定向，其中，所述一个或多个信息合成器对所述环境信息的所述部分进行合成以获得合成显示数据，其中，所述信息合成器包括所述用户本地的第一信息合成器和所述用户远程的第二信息合成器，并且其中，所述全局环境信息的至少一部分基于所述用户的所述视场或所述合成器中的一个或多个的信息合成器性能参数中的一项或多项而被引导至所述第二信息合成器；以及显示装置，用于基于所述用户的所述注视来显示所述环境信息的所述部分中的某个部分。3.如权利要求2所述的系统，所述感官增强设备进一步包括：增强现实图形处理单元，用于渲染至少一个增强现实对象，其中，所述增强现实对象不用于表示、或者不表示在所述环境中采集的所述物理对象中的一个或多个，其中，所述一个或多个反馈装置基于所述远程传感器、所述后向传感器、用户偏好、或应用参数中的一项或多项来致动一个或多个听觉队列、触觉反馈、嗅觉反馈、或味觉反馈。4.如权利要求3所述的系统，其中，所述环境信息的聚焦区域和非聚焦区域基于所述用户的所述注视来标识，其中，所述合成显示数据被生成为包括所述聚焦区域的所述环境信息、或所述聚焦区域对象中的一个或多个，所述系统进一步包括：硬件控制器，用于将所述全局环境信息的、不处于所述用户的所述视场中的所述至少一部分渲染为所述用户的所述视场中的所述对象中的一个或多个对象后方的轮廓，其中，所述硬件控制器基于媒体引擎轮次阈值通过媒体引擎多次经历所述渲染。5.如权利要求2所述的系统，其中，所述物理对象中的一个或多个物理对象向所述一个或多个合成器注册，其中，所述物理对象包括第一物理对象，其中，所述第一物理对象的表示被生成为所述环境的VR/AR表示中的第一VR/AR对象，其中，所述第一物理对象基于用户偏好或应用参数被表示为多种类型的VR/AR对象中的一种，并且其中，所述第一VR/AR对象2CN108734629A权利要求书2/5页由所述硬件控制器基于对所述第一物理对象的操纵来渲染。6.如权利要求5所述的系统，其中，对所述物理对象中的至少一个的操纵由所述合成器中的一个或多个或通过对所述物理对象中的所述一个或多个物理对象的操纵来预测。7