语音处理方法、装置、电子设备及存储介质.pdf

(19)国家知识产权局(12)发明专利申请(10)申请公布号CN114495968A(43)申请公布日2022.05.13(21)申请号202210322956.8(22)申请日2022.03.30(71)申请人北京世纪好未来教育科技有限公司地址100089北京市海淀区中关村大街32号蓝天和盛大厦1702-03室(72)发明人陈帅婷陈昌滨周到(74)专利代理机构北京开阳星知识产权代理有限公司11710专利代理师祝乐芳(51)Int.Cl.G10L21/0208(2013.01)G10L21/0232(2013.01)G10L25/30(2013.01)G06N3/04(2006.01)G06N3/08(2006.01)权利要求书2页说明书14页附图7页(54)发明名称语音处理方法、装置、电子设备及存储介质(57)摘要本公开涉及一种语音处理方法、装置、电子设备及存储介质，其中，该方法通过获取待处理语音对应的频谱特征，将待处理语音对应的频谱特征输入至语音增强模型，语音增强模型的编码器对待处理语音对应的频谱特征进行编码，获得语音编码特征，由第一编码器对语音编码特征进行处理，得到共享频谱特征，第二编码器和第三编码器分别根据共享频谱特征，获得用于降噪的第一掩码和用于混响抑制的第二掩码；通过第一掩码、第二掩码及待处理语音对应的频谱特征进行掩码计算，获得目标频谱特征，进而根据目标频谱合成获得进行了降噪以及混响抑制的目标语音。本方案能够降低语音增强模型的参数量，从而减小计算资源消耗，提高语音增强处理效率。CN114495968ACN114495968A权利要求书1/2页1.一种语音处理方法，其特征在于，包括：对待处理语音进行频谱分析，获得所述待处理语音对应的频谱特征；将所述待处理语音对应的频谱特征输入至语音增强模型，获取所述语音增强模型输出的用于语音降噪的第一掩码和用于语音混响抑制的第二掩码；所述语音增强模型包括：编码器和解码器，所述编码器用于对输入的所述待处理语音对应的频谱特征进行编码，获得语音编码特征；所述解码器包括：第一解码器、第二解码器和第三解码器，所述第一解码器用于根据所述语音编码特征输出共享频谱特征，所述第二解码器用于根据所述共享频谱特征输出所述第一掩码，所述第三解码器用于根据所述共享频谱特征输出所述第二掩码；根据所述第一掩码、所述第二掩码以及所述待处理语音对应的频谱特征进行掩码计算，获得目标频谱特征；根据所述目标频谱特征进行语音合成，获取目标语音，所述目标语音为所述待处理语音进行了语音降噪以及语音混响抑制后得到的语音。2.根据权利要求1所述的方法，其特征在于，所述编码器包括多层第一卷积网络；所述第一解码器包括多层第二卷积网络，所述第二解码器包括多层第三卷积网络，所述第三解码器包括多层第四卷积网络；所述第一解码器包括的第二卷积网络的层数与所述第二解码器包括的第三卷积网络的层数之和，与所述编码器包括的第一卷积网络的层数相同；所述第二解码器包括的所述第三卷积网络的层数与所述第三解码器包括的所述第四卷积网络的层数相同；所述编码器中的多层第一卷积网络分别沿反向顺序，依次与所述第一解码器中的多层第二卷积网络和所述第二解码器中的多层第三卷积网络一一连接；且与所述第二解码器相连接的多层第一卷积网络分别沿反向顺序与所述第三解码器中的多层第四卷积网络一一连接。3.根据权利要求1所述的方法，其特征在于，所述根据所述第一掩码、所述第二掩码以及所述待处理语音对应的频谱特征进行掩码计算，获得所述目标频谱特征，包括：将所述第一掩码与所述待处理语音对应的频谱特征相乘，获得第一频谱特征，再将所述第一频谱特征与所述第二掩码相乘，获得所述目标频谱特征；或者，将所述第二掩码与所述待处理语音对应的频谱特征相乘，获得第二频谱特征，再将所述第二频谱特征与所述第一掩码相乘，获得所述目标频谱特征。4.根据权利要求2所述的方法，其特征在于，所述语音增强模型还包括：设置在所述编码器与所述解码器之间的深层特征提取网络，所述深层特征提取网络用于从所述编码器接收语音特征作为输入，并输出深层语音特征；所述解码器用于根据所述深层语音特征，获得所述第一掩码和所述第二掩码。5.根据权利要求4所述的方法，其特征在于，所述深层特征提取网络为复数长短时记忆神经网络。6.根据权利要求4所述的方法，其特征在于，所述语音增强模型还包括：多个特征融合模块，其中，所述特征融合模块的数量与所述编码器包括的多个第一卷积网络的数量相同；所述多个特征融合模块采用间隔的方式设置在依次相连的所述深层特征提取网络、所述第一解码器包括的多个第一卷积网络、所述第二解码器包括的多个第三卷积网络之间；与所述第三卷积网络的输入端连接的所述特征融合模块还与相同层的第四卷积网络的输2CN114495968A权利要求书2/2页入端连接，与所