增强现实和虚拟现实反馈增强系统、设备和方法.pdf

(19)中华人民共和国国家知识产权局(12)发明专利申请(10)申请公布号CN108733339A(43)申请公布日2018.11.02(21)申请号201810337112.4M·M·瓦莱尔卡(22)申请日2018.04.16(74)专利代理机构上海专利商标事务所有限公司31(30)优先权数据10015/488,8372017.04.17US代理人李炜黄嵩泉(71)申请人英特尔公司(51)Int.Cl.地址美国加利福尼亚州G06F3/16(2006.01)G06F3/01(2006.01)(72)发明人C·萨科斯维尔M·阿波达卡K·肖A·考克J·S·波尔斯A·T·莱克N·卡布拉斯欧斯J·雷J·H·费特T·T·施吕斯列尔J·奎亚特科维斯基J·M·霍兰P·萨蒂J·肯尼迪L·冯B·达斯N·比斯瓦尔S·J·巴兰G·西灵吉尔N·V·沙阿A·沙玛权利要求书4页说明书45页附图37页(54)发明名称增强现实和虚拟现实反馈增强系统、设备和方法(57)摘要本申请公开了增强现实和虚拟现实反馈增强系统、设备和方法。系统、设备和方法可以提供一种用于渲染增强现实和虚拟现实(VR/AR)环境信息的方式。更具体地，系统、设备和方法可以提供一种用于选择性地抑制和增强对n维环境的VR/AR渲染的方式。所述系统、设备和方法可以通过聚焦于特定反馈信息而同时抑制来自所述环境的其他反馈信息来加深用户的VR/AR体验。CN108733339ACN108733339A权利要求书1/4页1.一种反馈增强系统，包括：电源，用于向所述系统提供电力；存储器，包括n维环境信息，所述存储器耦合至处理器；以及图形流水线设备，所述图形流水线包括：观察者监视器，用于监视观察所述n维环境信息的观察者的一个或多个动作，所述环境信息包括反馈信息；反馈管理器，用于检测反馈信息，其中，反馈信息包括与所述观察者的优先级关系，其中，所述优先级关系标识定向到所述观察者的观察者定向反馈信息、或者非定向反馈信息中的一项或多项；光线跟踪引擎，用于将所述环境信息归一化到所述观察者的位置，包括将所述反馈信息归一化到所述观察者的位置，其中，所述图形流水线设备基于所述观察者的所述动作或所述反馈信息的与所述观察者的所述优先级关系中的一项或多项来渲染经归一化的反馈信息。2.如权利要求1所述的系统，其中，所述反馈管理器基于一个或多个操作参数来使一个或多个反馈装置衰减，其中，所述反馈装置耦合至所述图形流水线设备，其中，所述反馈管理器将所述反馈信息标识为已知反馈信息或未知反馈信息，其中，当检测到所述未知反馈信息时，所述反馈管理器请求未知反馈标识符训练，其中，所述反馈管理器使所述反馈装置中的一个或多个致动。3.如权利要求2所述的系统，其中，所述观察者监视器监视所述观察者的注视方向、聚焦区域、非聚焦区域或所述位置中的一项或多项，其中，所述环境信息包括用于渲染一个或多个VR/AR场景的虚拟现实信息或增强现实信息(VR/AR)中的一项或多项，其中，所述VR/AR信息包括一个或多个对象、表面、声音或事件，其中，所述操作参数包括电力可用性、功耗参数、用户偏好、应用参数或性能参数中的一项或多项，其中，所述环境信息包括由位于一个或多个n维环境中的一个或多个采集装置采集的所采集信息，其中，所述观察者监视器或所述采集装置中一个或多个包括一个或多个传感器。4.如权利要求3所述的系统，其中，所述图形流水线设备在于所述注视方向上渲染的所述VR/AR场景中的至少一个上叠加对象、表面、或事件在所述声音或声源、所述事件或事件源的方向上的轮廓，其中，所述反馈管理器对在所述聚焦区域或所述非聚焦区域中的一个或多个中渲染的所述反馈信息的质量进行调制，其中，所述反馈管理器使在所述聚焦区域之外的所述非聚焦区域反馈信息衰减，以便引起所述观察者对所述非聚焦区域反馈信息的注意或聚焦。5.如权利要求2所述的系统，其中，所述图形流水线设备基于所述操作参数中的一个或多个来调整所述渲染，其中，所述图形流水线设备用于基于所述操作参数中的一个或多个来调整头部相关变换函数(HRTF)，其中，所述反馈装置包括一个或多个波束成形有向话筒，其中，所述一个或多个动作包括眼睛注视、姿势或听觉信号中的一个或多个。6.如权利要求3至5中任一项所述的系统，其中，所述光线跟踪引擎使用高保真立体音响复制声场数字信号处理或立体混响声场数字信号处理中的一项或多项来计算所述反馈信息的向量路径，其中，所述观察者监视器包括用于预测所述观察者的所述动作中的一个或多个动作的动作预测器，其中，所述图形流水线设备在所述声源中的至少一个声源在所2CN108733339A权利要求书2/4页述非聚焦区域中被检测到时将所述至少一个声源渲染为所检测的正观察初始聚焦区域的所述观察者的视野中的第一轮廓，其中，所述图形流水线设备用于基于聚焦时