基于加权语音损失的语音增强神经网络训练方法及装置.pdf

(19)中华人民共和国国家知识产权局(12)发明专利申请(10)申请公布号CN113921030A(43)申请公布日2022.01.11(21)申请号202111483345.3(22)申请日2021.12.07(71)申请人江苏清微智能科技有限公司地址211100江苏省南京市江宁区麒麟科技创新园创研路266号人工智能产业园8号楼3层(72)发明人苏家雨王博欧阳鹏(74)专利代理机构北京索睿邦知识产权代理有限公司11679代理人李根(51)Int.Cl.G10L21/0208(2013.01)G10L25/30(2013.01)G06N3/08(2006.01)权利要求书2页说明书9页附图4页(54)发明名称基于加权语音损失的语音增强神经网络训练方法及装置(57)摘要本发明公开了基于加权语音损失的语音增强神经网络训练方法及装置其中，方法包括：提取训练样本中带噪语音的对数功率谱特征；将对数功率谱特征输入初始语音增强神经网络得到预估增益；基于预估增益和噪声，计算第一损失值；基于预估增益和目标语音帧，计算第二损失值；获取第一损失值和第二损失值的权值，并进行加权计算得到最终损失值；在最终损失值收敛的情况下，将初始语音增强神经网络作为用于语音增强的神经网络。本发明实施例提供的方案，使用GRU网络来预测语音增强增益，结合语音活动检测来获取加权语音失真损失，在实现去除噪声的同时减小语音失真。CN113921030ACN113921030A权利要求书1/2页1.基于加权语音损失的语音增强神经网络训练方法，其特征在于，所述方法包括：提取训练样本中带噪语音的对数功率谱特征，所述训练样本中包括所述带噪语音以及用于构成所述带噪语音的干净语音和噪声；将所提取的对数功率谱特征输入初始语音增强神经网络得到所述带噪语音的预估增益；基于所述预估增益和噪声，计算表征所述带噪语音噪声抑制效果的第一损失值；基于所述预估增益和目标语音帧，计算表征所述带噪语音失真情况的第二损失值，所述目标语音帧为所述干净语音和噪声中存在语音活动的帧；获取所述第一损失值和第二损失值的权值，并基于所获取的权值进行加权计算得到最终损失值；在所述最终损失值不收敛的情况下，基于所述最终损失值调整所述初始语音增强神经网络，并返回将所提取的对数功率谱特征输入初始语音增强神经网络得到所述带噪语音的预估增益的步骤；在所述最终损失值收敛的情况下，将所述初始语音增强神经网络作为用于语音增强的神经网络。2.如权利要求1所述的方法，其特征在于，基于所述预估增益和噪声，计算表征所述带噪语音噪声抑制效果的第一损失值的步骤，包括：基于所述预估增益和噪声，通过以下表达式计算表征所述带噪语音噪声抑制效果的第一损失值：其中，表示所述第一损失值，表示所述预估增益，表示所述噪声，表示均方误差运算函数。3.如权利要求1所述的方法，其特征在于，基于所述预估增益和目标语音帧，计算表征所述带噪语音失真情况的第二损失值的步骤，包括：基于所述预估增益和目标语音帧，通过以下表达式计算表征所述带噪语音失真情况的第二损失值：其中，表示所述第二损失值，表示所述预估增益，表示所述噪声，表示所述干净语音，下标表示存在语音活动的帧，表示均方误差运算函数。4.如权利要求1所述的方法，其特征在于，确定所述目标语音帧的步骤，包括：基于当前帧在目标频段的频域表示，计算所述当前帧的能量和；在计算得到的能量和大于预定阈值的情况下记为0，小于预定阈值的情况下记为1，平滑所述当前帧以及所述当前帧之前预定数量帧的能量和与预定阈值的比较结果，并根据比较结果确定当前帧是否为语音帧。5.如权利要求1所述的方法，其特征在于，获取所述第一损失值和第二损失值的权值的步骤，包括：基于信噪比通过以下表达式计算所述第二损失值的权值：2CN113921030A权利要求书2/2页其中，表示信噪比，为一个设定的常数；基于所述第一损失值的权值与所述第二损失值的权值之和为1的运算规则，确定所述第一损失值的权值。6.基于加权语音损失的语音增强神经网络训练装置，其特征在于，所述装置包括：特征提取模块，用于提取训练样本中带噪语音的对数功率谱特征，所述训练样本中包括所述带噪语音以及用于构成所述带噪语音的干净语音和噪声；语音增强神经网络模块，用于将所提取的对数功率谱特征输入初始语音增强神经网络得到所述带噪语音的预估增益；损失值计算模块，用于基于所述预估增益和噪声，计算表征所述带噪语音噪声抑制效果的第一损失值；基于所述预估增益和目标语音帧，计算表征所述带噪语音失真情况的第二损失值，所述目标语音帧为所述干净语音和噪声中存在语音活动的帧；获取所述第一损失值和第二损失值的权值，并基于所获取的权值进行加权计算得到最终损失值；神经网络调整模块，用于在所述最终损失值不收敛的情况下，基于所述最终损失值调整所述初始语音增强神