具有深度的空间音频捕获.pdf

(19)国家知识产权局(12)发明专利申请(10)申请公布号CN114902330A(43)申请公布日2022.08.12(21)申请号201980102300.1(51)Int.Cl.(22)申请日2019.10.10G10L19/008(2006.01)H04S3/00(2006.01)(85)PCT国际申请进入国家阶段日H04S7/00(2006.01)2022.05.17H04N13/271(2006.01)(86)PCT国际申请的申请数据H04N13/204(2006.01)PCT/US2019/0556932019.10.10(87)PCT国际申请的公布数据WO2021/071498EN2021.04.15(71)申请人DTS公司地址美国加利福尼亚(72)发明人E·斯特因(74)专利代理机构中国贸促会专利商标事务所有限公司11038专利代理师刘前红权利要求书3页说明书18页附图9页(54)发明名称具有深度的空间音频捕获(57)摘要空间音频信号可以包括可被分别编码和渲染在多个不同深度中的每一个处的音频对象。在示例中，一种用于对空间音频信号进行编码的方法可以包括从环境中的音频捕获源接收音频场景信息，以及接收环境中的第一对象的深度特性。可以使用来自深度传感器的信息来确定深度特性。可以识别音频场景信息的至少一部分和第一对象之间的相关性。可以使用音频场景的该部分和第一对象的深度特性来对空间音频信号进行编码。CN114902330ACN114902330A权利要求书1/3页1.一种方法，包括：从环境中的音频捕获源接收音频场景信息；识别接收到的音频场景中的至少一个音频分量；从深度传感器接收关于所述环境中的一个或多个对象的深度特性信息；以及基于所识别的至少一个音频分量和所述深度特性信息对空间音频信号进行编码。2.如权利要求1所述的方法，其中，所述至少一个音频分量是使用关于对接收到的音频场景信息的时间‑频率表示的信号贡献的信息而确定的。3.如权利要求1所述的方法，还包括针对所述至少一个音频分量，确定相对于所述音频捕获源的第一方向和参考深度。4.如权利要求3所述的方法，还包括：确定来自所述深度传感器的所述深度特性信息的至少一部分对应于所述至少一个音频分量的置信度；以及使用所确定的置信度提供所识别的至少一个音频分量的第一深度特性；其中，对所述空间音频信号进行编码包括使用所述第一深度特性。5.如权利要求4所述的方法，其中，提供第一深度特性包括：当所述置信度为高时，基于来自所述深度传感器的信息提供所述第一深度特性；当所述置信度为低时，将所述第一深度特性提供为所述参考深度；以及当所述置信度为中等时，将所述第一深度特性提供为介于所述参考深度和使用所述深度传感器确定的深度之间的深度。6.如权利要求4所述的方法，其中，确定所述置信度包括使用计算机视觉处理器对在所述环境中识别的对象进行分类并确定所述至少一个音频分量是否包括或可能包括来自被分类的对象中的至少一个对象的音频。7.如权利要求4所述的方法，其中，所述深度特性信息包括关于具有相应深度和方向特性的多个对象的信息，并且其中，确定所述置信度包括确定所识别的至少一个音频分量对应于所述多个对象中的特定一个的置信度。8.如权利要求4所述的方法，其中，确定所述置信度包括：识别来自所述深度传感器的所述深度特性信息中的一个或多个数据聚类，以及将所述至少一个音频分量的第一方向关联到所识别的一个或多个数据聚类。9.如权利要求3所述的方法，还包括：从所述深度传感器接收关于具有相应深度量值和深度方向特性的多个对象的深度特性信息；针对所述多个对象，确定所述深度特性信息对应于所述至少一个音频分量的相应置信度指示；以及基于所述相应置信度指示确定组合深度特性；其中，对所述空间音频信号进行编码包括使用所述组合深度特性。10.如权利要求1所述的方法，其中，对所述空间音频信号进行编码包括基于所述音频场景和所述深度特性信息对深度扩展的ambisonic信号进行编码。11.如权利要求1所述的方法，其中，从音频捕获源接收所述音频场景信息包括从多换2CN114902330A权利要求书2/3页能器麦克风、声场麦克风、麦克风阵列和ambisonic麦克风中的一个或多个接收所述音频场景信息。12.如权利要求1所述的方法，其中，接收所述深度特性信息包括接收关于第一对象的时变深度特性信息，所述时变深度特性信息指示所述第一对象在所述环境中的移动，并且其中对所述空间音频信号进行编码包括基于所述音频场景和所述时变深度特性信息。13.如权利要求1所述的方法，还包括：使用基于图像的对象分类器来确定所述环境中的所述一个或多个对象中的第一对象的分类；以及其中对所述空间音频信号进行编码的条件是基于所述分类确定所述音频场景信息的第一部分包括或可能包括来自所述第一对象的