基于注意力的复数卷积神经网络语音增强方法及系统.pdf

(19)国家知识产权局(12)发明专利申请(10)申请公布号CN115938377A(43)申请公布日2023.04.07(21)申请号202211448140.6G10L25/30(2013.01)(22)申请日2022.11.18(71)申请人武汉轻工大学地址430023湖北省武汉市东西湖区常青花园学府南路68号(72)发明人王恒尤昕源张普郝森汪骁虎(74)专利代理机构武汉科皓知识产权代理事务所(特殊普通合伙)42222专利代理师严彦(51)Int.Cl.G10L21/0208(2013.01)G10L21/0216(2013.01)G10L21/0224(2013.01)G10L21/0232(2013.01)权利要求书2页说明书9页附图5页(54)发明名称基于注意力的复数卷积神经网络语音增强方法及系统(57)摘要本发明提供一种基于注意力的复数卷积神经网络语音增强方法及系统，其特征在于：针对带有背景噪音的语音进行降噪从而实现对语音的增强，包括使用通道时频注意力机制捕捉时频域的语音分布；使用门控时间卷积网络GTCN进行时间建模，从而减少网络的参数、提高网络的训练速度；使用亚像素卷积对实现对纯净语音的重构，避免反卷积时造成的棋盘伪影。本发明有效的提升了网络降噪效果，降低语音信号中的噪声影响，从而提高了语音的可懂度和质量。CN115938377ACN115938377A权利要求书1/2页1.一种基于注意力的复数卷积神经网络语音增强方法，其特征在于：针对带有背景噪音的语音进行降噪从而实现对语音的增强，包括使用通道时频注意力机制捕捉时频域的语音分布；使用门控时间卷积网络GTCN进行时间建模，从而减少网络的参数、提高网络的训练速度；使用亚像素卷积对实现对纯净语音的重构，避免反卷积时造成的棋盘伪影；实现过程包括以下处理，步骤1，对带噪语音与对应的纯净语音进行处理，获得带噪语音的实部和虚部，以及带噪语音对应纯净语音的实部和虚部；步骤2，将带噪语音的实部和虚部输入基于通道时频注意力的复数卷积神经网络，对复数卷积神经网络进行训练，用复数卷积神经网络的输出与纯净语音的实部和虚部计算损失来更新网络的参数；所述基于通道时频注意力的复数卷积神经网络包括复数编码器模块、时间建模模块和复数解码器模块，复数编码器模块中设置通道时频注意力机制，实现结合通道、时间和频率的注意力机制；步骤3，重复步骤2，不断优化复数卷积神经网络，直到获得增强效果满足预设要求的复数卷积网络；步骤4，将未训练的带噪语音进行处理获得实部和虚部，输入进训练后的复数卷积网络进行增强；将增强后的实部和虚部恢复成纯净语音。2.根据权利要求1所述基于注意力的复数卷积神经网络语音增强方法，其特征在于：所述复数解码器模块包括第一子复数解码器和第二子复数解码器，基于通道时频注意力的复数卷积神经网络中，带噪语音的实部和虚部首先输入进网络的复数编码器模块进行特征提取，得到复数编码器模块的输出；再将复数编码器模块的输出输入进时间建模模块，提取语音的时序特征得到时间建模模块的输出；将时间建模模块的输出分别输入第一子复数解码器、第二子复数解码器，分别用于重构语音的实部和虚部；且复数编码器模块分别和第一子复数解码器、第二子复数解码器之间采用跳跃连接。3.根据权利要求1所述基于注意力的复数卷积神经网络语音增强方法，其特征在于：所述复数编码器模块包括五层复数卷积层，所述复数卷积层依次由门控线性单元、通道时频注意力机制、层归一化和ELU激活构成，用于对处理后的带噪语音进行特征提取。4.根据权利要求1所述基于注意力的复数卷积神经网络语音增强方法，其特征在于：所述时间建模模块由门控时间卷积网络GTCN构成，所述门控时间卷积网络GTCN包括二维卷积和时间卷积网络TCN，二维卷积结合门控机制控制整个网络的信息流，时间卷积网络TCN保留更多的语音相关的长期记忆。5.根据权利要求1所述基于注意力的复数卷积神经网络语音增强方法，其特征在于：第一子复数解码器和第二子复数解码器分别包括五层复数反卷积层，所述复数反卷积层依次由亚像素卷积、层归一化和ELU激活构成，第一子复数解码器和第二子复数解码器分别用于估计语音的实部和虚部频谱。6.根据权利要求1或2或3或4或5所述基于注意力的复数卷积神经网络语音增强方法，其特征在于：所述通道时频注意力机制由三个平行的注意力分支组成，分别是通道注意力、2CN115938377A权利要求书2/2页时间注意力和频率注意力，指导模型关注对语音增强任务起到重要作用的通道、时间窗口以及特征。7.一种基于注意力的复数卷积神经网络语音增强系统，其特征在于：用于实现如权利要求1‑6任一项所述的一种基于注意力的复数卷积神经网络语音增强方法。8.根据权利要求7所述基于注意力的复数卷积神经网络语音增强系统，其特征在于：包