音频处理模型的训练方法及装置、音频处理方法及装置.pdf

(19)中华人民共和国国家知识产权局(12)发明专利申请(10)申请公布号CN113921032A(43)申请公布日2022.01.11(21)申请号202111182079.0(22)申请日2021.10.11(71)申请人北京达佳互联信息技术有限公司地址100085北京市海淀区上地西路6号1幢1层101D1-7(72)发明人张旭郑羲光陈联武任新蕾张晨(74)专利代理机构北京铭硕知识产权代理有限公司11286代理人王皎彤曾世骁(51)Int.Cl.G10L21/0232(2013.01)G10L25/30(2013.01)权利要求书2页说明书11页附图5页(54)发明名称音频处理模型的训练方法及装置、音频处理方法及装置(57)摘要本公开关于一种音频处理模型的训练方法及装置、一种音频处理方法及装置。音频处理模型的训练方法包括：获取纯净音频信号的幅度谱和带噪音频信号的幅度谱；将带噪音频信号的幅度谱分成多个频段，得到带噪音频信号的多个频段的幅度谱；通过音频处理模型中的多个卷积神经网络预测与带噪音频信号的所述多个频段中的每个频段的幅度谱相应的降噪幅度谱，得到多个频段的降噪幅度谱；基于所述多个频段的降噪幅度谱获得降噪音频信号的幅度谱；通过将纯净音频信号的幅度谱与预测出的降噪音频信号的幅度谱进行比较来调整音频处理模型的参数，从而提高音频处理模型的降噪和语音保留效果。CN113921032ACN113921032A权利要求书1/2页1.一种音频处理模型的训练方法，其特征在于，包括：获取纯净音频信号的幅度谱和带噪音频信号的幅度谱，其中，带噪音频信号与纯净音频信号相应；将带噪音频信号的幅度谱分成多个频段，得到带噪音频信号的多个频段的幅度谱；通过音频处理模型中的多个卷积神经网络预测与带噪音频信号的所述多个频段中的每个频段的幅度谱相应的降噪幅度谱，得到多个频段的降噪幅度谱；基于所述多个频段的降噪幅度谱获得降噪音频信号的幅度谱；通过将纯净音频信号的幅度谱与预测出的降噪音频信号的幅度谱进行比较来调整音频处理模型的参数。2.根据权利要求1所述的训练方法，其特征在于，将带噪音频信号的幅度谱分成多个频段的步骤包括：基于预设的频段数将带噪音频信号的幅度谱分成多个频段，其中，所述预设的频段数等于所述多个卷积神经网络的数量。3.根据权利要求2所述的训练方法，其特征在于，所述多个卷积神经网络中的每个卷积神经网络的内核大小和步幅被分别设置为彼此不同，其中，所述多个卷积神经网络中的每个卷积神经网络与所述多个频段中的一个频段相应。4.根据权利要求1所述的训练方法，其特征在于，通过音频处理模型中的所述多个卷积神经网络预测带噪音频信号的所述多个频段中的每个频段的幅度谱的降噪幅度谱的步骤包括：将带噪音频信号的所述多个频段中的每个频段的幅度谱分别输入到音频处理模型中的所述多个卷积神经网络中的相应的卷积神经网络；在每个卷积神经网络中，基于卷积神经网络的内核大小和步幅对输入到卷积神经网络的幅度谱进行卷积操作，基于卷积操作结果确定与输入的幅度谱相应的降噪幅度谱，得到所述多个频段的降噪幅度谱。5.根据权利要求1所述的训练方法，其特征在于，通过将纯净音频信号的幅度谱与预测出的降噪音频信号的幅度谱进行比较来调整音频处理模型的参数包括：计算纯净音频信号的幅度谱和降噪音频信号的幅度谱之间的差异；基于所述差异确定音频处理模型的预测损失；基于预测损失调整音频处理模型的模型参数，直至音频处理模型的预测损失满足预设条件时，将模型参数调整后的音频处理模型作为训练得到的音频处理模型。6.一种音频处理方法，其特征在于，包括：获取音频信号的幅度特征；将音频信号的幅度特征分成多个频段，得到音频信号的多个频段的幅度特征；通过音频处理模型中的多个卷积神经网络预测与音频信号的所述多个频段中的每个频段的幅度特征相应的降噪幅度特征，得到多个频段的降噪幅度特征；基于所述多个频段的降噪幅度特征获得降噪音频信号的幅度谱；基于预测出的幅度谱确定与音频信号相应的降噪音频信号。7.一种音频处理模型的训练装置，其特征在于，包括：幅度获取单元，被配置为获取纯净音频信号的幅度谱和带噪音频信号的幅度谱，其中，2CN113921032A权利要求书2/2页带噪音频信号与纯净音频信号相应；频段划分单元，被配置为将带噪音频信号的幅度谱分成多个频段，得到带噪音频信号的多个频段的幅度谱；以及模型训练单元，被配置为通过音频处理模型中的多个卷积神经网络预测与带噪音频信号的所述多个频段中的每个频段的幅度谱相应的降噪幅度谱，得到多个频段的降噪幅度谱，基于所述多个频段的降噪幅度谱获得降噪音频信号的幅度谱，并且通过将纯净音频信号的幅度谱与预测出的降噪音频信号的幅度谱进行比较来调整音频处理模型的参数。8.一种音频处理装置，其特征在于，包括：幅度获取单元，被配置为获取