基于神经网络的语音增强方法、装置及电子设备.pdf

(19)中华人民共和国国家知识产权局(12)发明专利申请(10)申请公布号CN113808607A(43)申请公布日2021.12.17(21)申请号202110245564.1G10L25/30(2013.01)(22)申请日2021.03.05(71)申请人北京沃东天骏信息技术有限公司地址100176北京市大兴区北京经济技术开发区科创十一街18号院2号楼4层A402室申请人北京京东世纪贸易有限公司(72)发明人陈泽华吴俊仪蔡玉玉雪巍杨帆丁国宏何晓冬(74)专利代理机构北京律智知识产权代理有限公司11438代理人王辉阚梓瑄(51)Int.Cl.G10L21/0224(2013.01)G10L21/0232(2013.01)权利要求书2页说明书16页附图5页(54)发明名称基于神经网络的语音增强方法、装置及电子设备(57)摘要本公开提供一种基于神经网络的语音增强方法、装置、存储介质及电子设备；涉及语音信号处理领域。所述方法包括：将原始语音信号进行时频变换得到原始语音信号的原始幅度谱；利用时间维卷积核对原始幅度谱进行特征提取，得到时域平滑特征图；利用频率维卷积核对原始幅度谱进行特征提取，得到频域平滑特征图；对原始幅度谱、时域平滑特征图和频域平滑特征图进行组合特征提取，得到原始语音信号的增强幅度谱；对增强幅度谱进行时频逆变换得到增强语音信号。本公开通过对原始语音信号提取时频平滑特征，可以在时间轴和频率轴上实现双轴降噪，并结合深度神经网络可以实现降噪参数的自学习，进一步提升语音信号的质量。CN113808607ACN113808607A权利要求书1/2页1.一种基于神经网络的语音增强方法，其特征在于，包括：将原始语音信号进行时频变换得到所述原始语音信号的原始幅度谱；利用时间维卷积核对所述原始幅度谱进行特征提取，得到时域平滑特征图；利用频率维卷积核对所述原始幅度谱进行特征提取，得到频域平滑特征图；对所述原始幅度谱、所述时域平滑特征图和所述频域平滑特征图进行组合特征提取，得到所述原始语音信号的增强幅度谱；对所述增强幅度谱进行时频逆变换得到增强语音信号。2.根据权利要求1所述的语音增强方法，其特征在于，所述利用时间维卷积核对所述原始幅度谱进行特征提取，得到时域平滑特征图，包括：根据卷积滑窗和时域平滑因子确定时域平滑参数矩阵；对所述时域平滑参数矩阵作乘积运算得到所述时间维卷积核的权重矩阵；对所述时间维卷积核的权重矩阵和所述原始幅度谱作卷积运算，得到所述时域平滑特征图。3.根据权利要求1所述的语音增强方法，其特征在于，所述利用频率维卷积核对所述原始幅度谱进行特征提取，得到频域平滑特征图，包括：根据卷积滑窗和频域平滑因子确定频域平滑参数矩阵；对所述频域平滑参数矩阵作乘积运算得到所述频率维卷积核的权重矩阵；对所述频率维卷积核的权重矩阵和所述原始幅度谱的转置矩阵作卷积运算，得到所述频域平滑特征图。4.根据权利要求1所述的语音增强方法，其特征在于，所述对所述原始幅度谱、所述时域平滑特征图和所述频域平滑特征图进行组合特征提取，得到所述原始语音信号的增强幅度谱，包括：合并所述原始语音信号的原始幅度谱、所述时域平滑特征图和所述频域平滑特征图，得到待增强语音信号；以所述待增强语音信号为深度神经网络的输入，利用反向传播算法对所述时间维卷积核的权重矩阵和所述频率维卷积核的权重矩阵进行训练；根据训练得到的权重矩阵对所述待增强语音信号进行组合特征提取，得到所述原始语音信号的增强幅度谱。5.根据权利要求1所述的语音增强方法，其特征在于，所述将原始语音信号进行时频变换得到所述原始语音信号的原始幅度谱，包括：对所述原始语音信号进行加窗分帧处理，得到分帧后的语音信号；对每帧语音信号作离散傅里叶变换，并对变换后的语音信号作取模运算得到所述原始语音信号的原始幅度谱。6.根据权利要求5所述的语音增强方法，其特征在于，所述对所述增强幅度谱进行时频逆变换得到增强语音信号，包括：对所述变换后的语音信号作取相位角运算得到所述原始语音信号的原始相位谱；对所述原始语音信号的增强幅度谱和所述原始相位谱作时频逆变换，得到所述增强语音信号。7.根据权利要求1所述的语音增强方法，其特征在于，所述原始语音信号的原始幅度谱2CN113808607A权利要求书2/2页服从复数域二维高斯分布。8.一种基于神经网络的语音增强装置，其特征在于，包括：信号变换模块，用于将原始语音信号进行时频变换得到所述原始语音信号的原始幅度谱；时域平滑特征提取模块，用于利用时间维卷积核对所述原始幅度谱进行特征提取，得到时域平滑特征图；频域平滑特征提取模块，用于利用频率维卷积核对所述原始幅度谱进行特征提取，得到频域平滑特征图；组合特征提取模块，用于对所述原始幅度谱、所述时域平滑特征图和所述频域平滑特征图进行组合特征提取，得到所述原