音频信号处理方法及装置.pdf

(19)中华人民共和国国家知识产权局(12)发明专利申请(10)申请公布号CN114203163A(43)申请公布日2022.03.18(21)申请号202210141643.2(22)申请日2022.02.16(71)申请人荣耀终端有限公司地址518040广东省深圳市福田区香蜜湖街道东海社区红荔西路8089号深业中城6号楼A单元3401(72)发明人胡贝贝夏日升许剑峰(74)专利代理机构深圳市深佳知识产权代理事务所(普通合伙)44285代理人戴皓(51)Int.Cl.G10L15/02(2006.01)G10L15/06(2013.01)G10L15/16(2006.01)权利要求书3页说明书13页附图7页(54)发明名称音频信号处理方法及装置(57)摘要本申请提供了一种音频信号处理方法及装置，该方法采用基于神经网络的人声提取模型，从原始立体声信号中提取出左、右声道背景声信号和人声信号。对左、右声道背景声信号进行声场扩展得到扩展背景声信号；进一步，对人声信号进行语音检测获得目标人声信号。最后，对扩展背景声信号和目标人声信号进行混音处理，得到目标输出音频信号。可见，基于神经网络的人声提取模型能够提取出比较纯净的人声信号，从而获得比较纯净的背景声信号，对纯净的背景声信号进行声场扩展，避免了人声变散变虚的问题，提高了声场扩展效果。而且，提高了人声清晰度和声场扩展效果，进一步提高了用户的听觉体验。CN114203163ACN114203163A权利要求书1/3页1.一种音频信号处理方法，其特征在于，应用于电子设备，所述方法包括：将原始立体声信号输入基于神经网络的人声提取模型，进行人声信号识别和提取，获得第一人声信号和背景声信号，所述背景声信号包括左声道背景声信号和右声道背景声信号；扩展所述背景声信号的声场获得扩展背景声信号；对所述第一人声信号进行语音检测，获得目标人声信号；将所述扩展背景声信号和所述目标人声信号进行混音处理，得到目标输出音频信号。2.根据权利要求1所述的方法，其特征在于，所述人声提取模型为频域的人声提取模型；所述将原始立体声信号输入基于神经网络的人声提取模型，进行人声信号识别和提取，获得第一人声信号、左声道背景声信号和右声道背景声信号，包括：将所述原始立体声信号进行时频转换获得频域立体声信号；将所述频域立体声信号输入至所述人声提取模型，提取所述频域立体声信号对应的频谱特征，并分析所述频谱特征获得所述频域立体声信号对应的人声掩码和背景声掩码，所述人声掩码表征所述频域立体声信号中每一帧声音信号是否是人声信号，所述背景声掩码表征所述频域立体声信号中每一帧声音信号是否是背景声信号；将所述频域立体声信号对应的向量与所述人声掩码进行向量乘法运算，获得所述频域立体声信号中的频域人声信号；将所述频域立体声信号与所述背景声掩码进行向量乘法运算，获得所述频域立体声信号包含的左声道频域背景声信号和右声道频域背景声信号；将所述频域人声信号进行频时转换获得时域的所述人声信号；将所述左声道频域背景声信号和所述右声道频域背景声信号进行频时转换获得时域的所述背景声信号。3.根据权利要求1所述的方法，其特征在于，所述人声提取模型能够处理时域的音频信号；所述将原始立体声信号输入基于神经网络的人声提取模型，进行人声信号识别和提取，获得第一人声信号、左声道背景声信号和右声道背景声信号，包括：将所述原始立体声信号对应的向量输入至所述人声提取模型，提取所述原始立体声信号的特征向量，并分析所述特征向量，获得所述原始立体声信号对应的人声掩码和背景声掩码，所述人声掩码表征所述立体声信号中每一帧声音信号是否是人声信号，所述背景声掩码表征频域立体声信号中每一帧声音信号是否是背景声信号；将所述原始立体声信号的特征向量与所述人声掩码进行向量乘法运算，获得所述人声信号；将所述原始立体声信号的特征向量与所述背景声掩码进行向量乘法运算，获得所述左声道背景声信号和所述右声道背景声信号。4.根据权利要求1所述的方法，其特征在于，所述人声提取模型为频域的人声提取模型；所述人声提取模型的训练过程包括：获取人声样本数据和背景声样本数据；2CN114203163A权利要求书2/3页对所述人声样本数据进行时频变换，获得所述人声样本数据对应的真实人声频谱；将所述人声样本数据与背景声样本数据进行混音处理，获得混合音频样本；对所述混合音频样本进行时频变换，获得所述混合音频样本对应的频谱；将所述混合音频样本对应的频谱输入待训练人声提取模型，获得人声掩码，根据所述混合音频样本和所述人声掩码获得估计人声频谱；根据同一人声样本数据对应的所述真实人声频谱和所述估计人声频谱，获得损失值；如果所述损失值不满足预设收敛条件，调整所述待训练人声提取模型的模型参数，利用调整后的待训练人声提取模型获得新的估计人声频谱，并