语音增强模型的训练方法和装置及语音增强方法和装置.pdf

(19)中华人民共和国国家知识产权局(12)发明专利申请(10)申请公布号CN113823301A(43)申请公布日2021.12.21(21)申请号202110967786.4(22)申请日2021.08.23(71)申请人上海闻泰信息技术有限公司地址200062上海市普陀区云岭东路89号2111-L室(72)发明人张雪宋广伟(74)专利代理机构北京开阳星知识产权代理有限公司11710代理人王艳斌(51)Int.Cl.G10L21/02(2013.01)G10L21/0208(2013.01)G10L21/0324(2013.01)G10L25/51(2013.01)G10L25/78(2013.01)权利要求书2页说明书14页附图6页(54)发明名称语音增强模型的训练方法和装置及语音增强方法和装置(57)摘要本申请涉及语音处理技术领域，提供了一种语音增强模型的训练方法和装置及语音增强方法和装置。所述语音增强模型的训练方法包括：获取语音训练集；其中，语音训练集中包括含噪语音样本和纯净语音样本；获取含噪语音样本对应的幅度谱输入生成网络，获取增强语音幅度谱；获取纯净语音样本对应的幅度谱和增强语音幅度谱输入判别网络，获取判别结果；根据增强语音幅度谱、纯净语音样本对应的幅度谱、判别结果与优化目标调整生成网络和判别网络的网络参数，生成语音增强模型。采用本方法能够提高语音增强模型的性能，进而提升语音增强的效果。CN113823301ACN113823301A权利要求书1/2页1.一种语音增强模型的训练方法，其特征在于，包括：获取语音训练集；其中，所述语音训练集中包括含噪语音样本和纯净语音样本；获取所述含噪语音样本对应的幅度谱输入生成网络，获取增强语音幅度谱；获取所述纯净语音样本对应的幅度谱和所述增强语音幅度谱输入判别网络，获取判别结果；根据所述增强语音幅度谱、所述纯净语音样本对应的幅度谱、所述判别结果与优化目标调整所述生成网络和所述判别网络的网络参数，生成语音增强模型。2.根据权利要求1所述的方法，其特征在于，还包括：按照预设时长和采样频率在多个场景下采集第一数量的背景噪声，构建原始背景噪声数据集；按照所述时长和所述采样频率在所述多个场景下采集第二数量的用户语音数据，构建真实含噪语音数据集；按照所述时长和所述采样频率在无噪声环境下采集第三数量的用户语音数据，构建纯净语音数据集；将所述原始背景噪声数据集和所述纯净语音数据进行加性混合，获取生成含噪语音数据集；根据所述真实含噪语音数据集、所述纯净语音数据集和所述生成含噪语音数据集，构建语音增强数据集，并按照预设比例将所述语音增强数据集划分为所述语音训练集和语音测试集。3.根据权利要求1所述的方法，其特征在于，所述获取所述含噪语音样本对应的幅度谱输入生成网络，获取增强语音幅度谱，包括：对所述含噪语音样本进行预加重和归一化处理后，获取待训练含噪语音样本；通过短时傅里叶变换公式对所述待训练含噪语音样本进行短时傅里叶变换，获取所述含噪语音样本对应的幅度谱；将所述含噪语音样本对应的幅度谱分割为预设帧长的幅度谱特征图，对所述幅度谱特征图进行预设次数的卷积处理，获取所述增强语音幅度谱。4.根据权利要求1所述的方法，其特征在于，所述获取所述纯净语音样本对应的幅度谱和所述增强语音幅度谱输入判别网络，获取判别结果，包括：对所述纯净语音样本进行预加重和归一化处理后，获取待训练纯净语音样本；通过短时傅里叶变换公式对所述待训练纯净语音样本进行短时傅里叶变换，获取所述纯净语音样本对应的幅度谱；根据预设帧长的所述纯净语音样本对应的幅度谱、以及所述增强语音幅度谱构建二维幅度谱特征图；对所述二维幅度谱特征图进行预设次数反卷积处理后进入全连接处理，获取目标幅度谱特征图；将所述目标幅度谱特征图输入分类函数，得到所述判别结果。5.根据权利要求1‑4任一项所述的方法，其特征在于，所述根据所述增强语音幅度谱、所述纯净语音样本对应的幅度谱、所述判别结果与优化目标调整所述生成网络和所述判别网络的网络参数，生成语音增强模型，包括：2CN113823301A权利要求书2/2页获取所述优化目标对应的目标函数；基于所述目标函数对所述增强语音幅度谱、所述纯净语音样本对应的幅度谱、所述判别结果进行计算损失函数值；根据所述损失函数值和预设阈值更新所述生成网络的网络参数和所述判别网络的网络参数，直到所述损失函数值小于所述预设阈值时，获取更新参数后的所述生成网络和所述判别网络作为所述语音增强模型。6.一种语音增强方法，其特征在于，所述方法包括：接收任一场景下的语音信号；对所述语音信号进行语音活性检测，获取待处理语音信号；将所述待处理语音信号预处理后进行短时傅里叶变换，获取待处理幅度谱和待处理相位谱；将所述待处理幅度谱输入所述语音增强模型获取估计幅度谱；根据