语音降噪模型的训练方法、语音评分方法、装置及介质.pdf

(19)中华人民共和国国家知识产权局(12)发明专利申请(10)申请公布号CN114283828A(43)申请公布日2022.04.05(21)申请号202111025632.X(22)申请日2021.09.02(71)申请人腾讯科技（北京）有限公司地址100080北京市海淀区海淀大街38号银科大厦16层1601－1608室(72)发明人柯登峰解焱陆张劲松林炳怀王丽园(74)专利代理机构北京派特恩知识产权代理有限公司11270代理人王花丽张颖玲(51)Int.Cl.G10L21/0208(2013.01)G10L21/0264(2013.01)G10L25/60(2013.01)权利要求书4页说明书20页附图9页(54)发明名称语音降噪模型的训练方法、语音评分方法、装置及介质(57)摘要本申请提供了一种语音降噪模型的训练方法、装置、电子设备及存储介质；语音降噪模型包括：噪音处理层，发音差异处理层和内容差异处理层，方法包括：通过噪音处理层，对语音样本进行降噪处理，得到目标语音样本；通过发音差异处理层，对目标语音样本进行发音评分的预测，得到发音预测结果，该发音预测结果，用于指示目标语音样本与语音样本对应的参考发音间的发音相似度；通过内容差异处理层，确定目标语音样本的内容与语音样本的内容间的内容差异；基于发音预测结果以及内容差异，更新语音降噪模型的模型参数，以得到训练完成的语音降噪模型；通过本申请，能够提高语音降噪模型的降噪精确程度。CN114283828ACN114283828A权利要求书1/4页1.一种语音降噪模型的训练方法，其特征在于，所述语音降噪模型包括：噪音处理层，发音差异处理层和内容差异处理层，所述方法包括：通过所述噪音处理层，对语音样本进行降噪处理，得到目标语音样本；通过所述发音差异处理层，对所述目标语音样本进行发音评分的预测，得到发音预测结果，所述发音预测结果，用于指示所述目标语音样本与所述语音样本对应的参考发音间的发音相似度；通过所述内容差异处理层，确定所述目标语音样本的内容与所述语音样本的内容间的内容差异；基于所述发音预测结果以及所述内容差异，更新所述语音降噪模型的模型参数，以得到训练完成的语音降噪模型。2.如权利要求1所述的方法，其特征在于，所述噪音处理层包括：第一特征变换层、滤波处理层以及第二特征变换层；所述通过所述噪音处理层，对语音样本进行降噪处理，得到目标语音样本，包括：通过所述第一特征变换层，对所述语音样本进行傅里叶变换，得到所述语音样本对应的幅度谱和相位谱；通过所述滤波处理层，对所述幅度谱进行滤波处理，得到目标幅度谱，并对所述相位谱进行相位修正，得到目标相位谱；通过所述第二特征变换层，将所述目标幅度谱和所述目标相位谱进行相乘，并将相乘得到的结果进行傅里叶逆变换，得到所述目标语音样本。3.如权利要求2所述的方法，其特征在于，所述滤波处理层包括至少两个级联的子滤波处理层；所述通过所述滤波处理层，对所述幅度谱进行滤波处理，得到目标幅度谱，并对所述相位谱进行相位修正，得到目标相位谱，包括：通过第一级的子滤波处理层，对所述幅度谱进行滤波处理，得到中间幅度谱，并对所述相位谱进行相位修正，得到中间相位谱；通过非第一级的子滤波处理层，对所述中间幅度谱进行滤波处理得到所述目标幅度谱，并对所述中间相位谱进行相位修正得到所述目标相位谱。4.如权利要求3所述的方法，其特征在于，各所述子滤波处理层包括相位谱修正层、以及至少两个级联的幅度谱滤波层；所述通过第一级的子滤波处理层，对所述幅度谱进行滤波处理，得到中间幅度谱，并对所述相位谱进行相位修正，得到中间相位谱，包括：通过所述至少两个级联的幅度谱滤波层，对所述幅度谱进行滤波处理，得到中间幅度谱；通过所述相位谱修正层，基于所述中间幅度谱对所述相位谱进行相位修正，得到中间相位谱。5.如权利要求2所述的方法，其特征在于，所述第二特征变换层包括特征转换层、和特征逆变换层；所述通过所述第二特征变换层，将所述目标幅度谱和所述目标相位谱进行相乘，并将相乘得到的结果进行傅里叶逆变换，得到所述目标语音样本，包括：2CN114283828A权利要求书2/4页通过所述特征转换层，将所述目标幅度谱转换为幅度谱掩模，并确定所述目标相位谱对应的相位角；通过所述特征逆变换层，将所述目标幅度谱、所述幅度谱掩模和所述目标相位谱对应的相位角进行相乘，并将相乘得到的结果进行傅里叶逆变换，得到所述目标语音样本。6.如权利要求1所述的方法，其特征在于，所述内容差异处理层包括：傅里叶变换层；所述通过所述内容差异处理层，确定所述目标语音样本的内容与所述语音样本的内容间的内容差异，包括：通过所述傅里叶变换层，对所述目标语音样本进行傅里叶变换，得到第一幅度谱，并对所述语音样本进行傅里叶变换，得到第二幅度谱；确定所述第一幅度谱与所