语音增强方法、装置、设备及存储介质.pdf

(19)中华人民共和国国家知识产权局(12)发明专利申请(10)申请公布号CN114155868A(43)申请公布日2022.03.08(21)申请号202111442886.1(22)申请日2021.11.30(71)申请人清华大学苏州汽车研究院（相城）地址215134江苏省苏州市相城区高铁新城太阳路2266号5幢(72)发明人姜彦吉邱友利彭博刘海涛郑四发(74)专利代理机构北京品源专利代理有限公司11332代理人倪焱(51)Int.Cl.G10L21/02(2013.01)权利要求书2页说明书10页附图4页(54)发明名称语音增强方法、装置、设备及存储介质(57)摘要本发明公开了一种语音增强方法、装置、设备及存储介质。获取语音样本数据，并将所述语音样本数据按照设定比例拆分为训练集和验证集；其中，所述语音样本数据包括带噪语音及对应的纯净语音；基于所述训练集对设定语音增强模型进行训练；基于所述验证集对训练后的所述设定语音增强模型进行验证；将待增强语音输入验证后的所述设定语音增强模型，输出目标语音。本发明实施例提供的语音增强方法，将待增强语音输入验证后的设定语音增强模型，输出目标语音，可以改善语音增强过程中容易产生语音丢失和语音失真等损伤原始语音数据的问题，保证语音增强的效果。CN114155868ACN114155868A权利要求书1/2页1.一种语音增强方法，其特征在于，包括：获取语音样本数据，并将所述语音样本数据按照设定比例拆分为训练集和验证集；其中，所述语音样本数据包括带噪语音及对应的纯净语音；基于所述训练集对设定语音增强模型进行训练；基于所述验证集对训练后的所述设定语音增强模型进行验证；将待增强语音输入验证后的所述设定语音增强模型，输出目标语音。2.根据权利要求1所述的方法，其特征在于，获取语音样本数据，包括：获取纯净语音；将所述纯净语音与噪声数据按照随机信噪比进行混合，获得带噪语音；将所述纯净语音和所述带噪语音组成语音样本数据。3.根据权利要求1所述的方法，其特征在于，基于所述训练集对设定语音增强模型进行训练，包括：将所述训练集中的带噪语音输入设定语音增强模型，获得第一增强语音；计算所述第一增强语音与所述训练集中的纯净语音间的尺度不变信噪比SI‑SNR损失函数；基于所述SI‑SNR损失函数和设定优化器对所述设定语音增强模型进行训练，直到满足训练终止条件。4.根据权利要求1所述的方法，其特征在于，基于所述验证集对训练后的所述设定语音增强模型进行验证，包括：将所述验证集中的带噪语音输入训练后的所述设定语音增强模型，输出第二增强语音；确定所述第二增强语音的第一语音质量指标和第二语音质量指标；若所述第一语音质量指标和所述第二语音质量指标均满足条件，则所述设定语音增强模型验证完成；否则，基于所述训练集对设定语音增强模型进行重新训练。5.根据权利要求1‑4任一所述的方法，其特征在于，所述设定语音增强模型从输入到输出依次包括：傅里叶变换模块、频域特征提取模块、数据融合模块、傅里叶逆变换模块、归一化模块、时域特征提取模块及特征分析模块；所述傅里叶变换模块的输出跳跃连接至所述数据融合模块的输入。6.根据权利要求5所述的方法，其特征在于，所述频域特征提取模块包括第一频域特征提取单元和第二频域特征提取单元；所述第一频域特征提取单元依次包括归一化层、丢弃层及多头注意力机制层；所述第二频域特征提取单元依次包括：归一化层、丢弃层和前馈层网络；所述第一频域特征提取单元的输入与所述第二频域特征提取单元跳跃连接；其中，所述前馈层网络依次包括：循环层、激活层、丢弃层和线性处理层。7.根据权利要求6所述的方法，其特征在于，归一化模块包括：归一化层、一维卷积层、激活层及分段层；所述时域特征提取模块包括第一时域特征提取单元和第二时域特征提取单元；其中，所述第一时域特征提取单元和所述第一频域特征提取单元的结构相同，所述第二时域特征提取单元和所述第二频域特征提取单元的结构相同；2CN114155868A权利要求书2/2页所述特征分析模块包括二维卷积层、重叠相加层、一维卷积单元及一维逆卷积层。8.一种语音增强装置，其特征在于，包括：样本数据获取模块，用于获取语音样本数据，并将所述语音样本数据按照设定比例拆分为训练集和验证集；其中，所述语音样本数据包括带噪语音及对应的纯净语音；设定语音增强模型训练模块，用于基于所述训练集对设定语音增强模型进行训练；设定语音增强模型验证模块，用于基于所述验证集对训练后的所述设定语音增强模型进行验证；目标语音获取模块，用于将待增强语音输入验证后的所述设定语音增强模型，输出目标语音。9.一种计算机设备，其特征在于，包括：包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如权利要求1‑7任一所述的