几何声学在沉浸式虚拟现实（VR）中的应用.pdf

(19)中华人民共和国国家知识产权局(12)发明专利申请(10)申请公布号CN111158459A(43)申请公布日2020.05.15(21)申请号201911077954.1(22)申请日2019.11.06(30)优先权数据16/183,3962018.11.07US(71)申请人辉达公司地址美国加利福尼亚州(72)发明人A·当特莱A·古谱塔(74)专利代理机构北京市磐华律师事务所11336代理人高伟(51)Int.Cl.G06F3/01(2006.01)G06T19/00(2011.01)A63F13/424(2014.01)权利要求书3页说明书7页附图5页(54)发明名称几何声学在沉浸式虚拟现实（VR）中的应用(57)摘要本发明公开了几何声学在沉浸式虚拟现实(VR)中的应用。虚拟现实(VR)音频渲染系统和方法包括：根据VR设置对麦克风捕获的真实世界声音进行空间化。在游戏流式传输系统中，当玩家通过麦克风讲话时，语音将通过为虚拟场景配置的几何声学(GA)模拟进行处理，从而添加特定于该场景的空间化的音频效果。GA仿真可以包括使用声音传播模拟和基于动态HRTF的听者方向性来生成脉冲响应。在播放经过GA处理的玩家声音时，本地玩家或其他玩家可以听到该声音，好像该声音在场景中行进，并根据虚拟场景中的几何形状行进一样。该机制可以有利地将玩家的聊天置于与内置游戏音频相同的虚拟世界中，从而有利地为用户提供增强的沉浸式VR体验。CN111158459ACN111158459A权利要求书1/3页1.一种渲染与虚拟现实应用程序相关联的音频的计算机实现的方法，所述方法包括：在执行所述虚拟现实应用程序的过程中，接收通过通信网络发送并表示在第一麦克风处捕获的第一音频信号的第一音频数据；将表示虚拟环境的几何声学模型应用于所述第一音频数据，以生成结果音频数据，其中所述应用包括：基于所述几何模型和所述虚拟环境中的第一对象的位置生成脉冲响应；以及将所述脉冲响应与所述第一音频数据进行卷积；以及将所述结果音频数据发送到音频渲染设备。2.根据权利要求1所述的计算机实现的方法，其中，在所述虚拟现实应用程序的所述执行期间：所述第一麦克风通信地耦合到第一客户端设备；所述音频渲染设备通信地耦合到第二客户端设备；所述第一对象由所述第一客户端设备的第一用户控制，并被配置为所述结果音频数据的声源对象；以及所述第一客户端设备和所述第二客户端设备经由所述通信网络通信地耦合到服务器设备。3.根据权利要求1所述的计算机实现的方法，其中所述虚拟现实应用程序包括多人游戏，所述多人游戏在包括所述第一客户端设备和所述第二客户端设备的多个客户端设备上执行。4.根据权利要求2所述的计算机实现的方法，还包括由所述第二客户端设备接收如从所述服务器设备提供的在所述虚拟环境中的所述第一对象的所述位置。5.根据权利要求4所述的计算机实现的方法，还包括在所述第二客户端设备处：接收与所述第二客户端设备相关联的玩家的经更新的位置信息；以及将所述虚拟环境中的第二对象的位置发送至所述服务器设备；其中所述经更新的位置信息由头戴式设备检测；其中所述第二对象由所述第二客户端设备控制，以及其中进一步地，所述生成所述脉冲响应还基于所述经更新的位置信息和所述第二对象的所述位置。6.根据权利要求2所述的计算机实现的方法，其中所述生成所述脉冲响应包括处理基于听者的射线跟踪算法，并且其中所述第二客户端设备还控制第二对象作为声音听者对象。7.根据权利要求6所述的计算机实现的方法，其中所述生成所述脉冲响应还包括：执行声音传播模拟，并且应用基于动态的头部相关传递函数(HRTF)的听者方向性。8.根据权利要求2所述的计算机实现的方法，还包括在所述第二客户端设备处：向所述服务器设备发送表示由与所述第二客户端设备相关联的第二麦克风捕获的第二音频信号的第二音频数据；以及进一步将所述几何声学模型应用于所述第二音频数据以生成所述结果音频数据，其中在所述虚拟现实应用程序的所述执行期间，将所述第二麦克风通信地耦合到所述第二客户端设备。2CN111158459A权利要求书2/3页9.一种在虚拟现实计算机游戏的执行期间渲染音频的计算机实现的方法，所述方法包括：接收表示在耦合到第一计算机设备的第一麦克风处捕获的第一音频信号的第一音频数据，所述第一音频数据由第二计算机设备接收；在所述第二计算机设备处，将虚拟环境的几何声学模型应用于所述第一音频数据以生成结果音频数据，其中所述应用包括：基于所述几何模型和所述虚拟环境中的第一对象的位置生成脉冲响应，其中所述第一对象由所述第一计算机设备控制；以及将所述脉冲响应与所述第一音频数据进行卷积；以及在耦合到所述第二计算机设备的音频渲染设备处渲染所述结果音频数据，其中所述第一计算机设备和所述第二计算机设备由所述虚拟现实计算机游戏