基于域分离的语音转换模型的训练方法及装置.pdf

(19)中华人民共和国国家知识产权局(12)发明专利申请(10)申请公布号CN112634920A(43)申请公布日2021.04.09(21)申请号202011509341.3(22)申请日2020.12.18(71)申请人平安科技（深圳）有限公司地址518000广东省深圳市福田区福田街道福安社区益田路5033号平安金融中心23楼(72)发明人陈闽川马骏王少军(74)专利代理机构深圳市精英专利事务所44242代理人涂年影(51)Int.Cl.G10L21/013(2013.01)G10L25/24(2013.01)G10L19/16(2013.01)权利要求书2页说明书11页附图6页(54)发明名称基于域分离的语音转换模型的训练方法及装置(57)摘要本发明公开了一种基于域分离的语音转换模型的训练方法及装置，该方法包括：接收训练语音并对训练语音进行特征提取，得到训练语音的梅尔频率倒谱系数；将梅尔频率倒谱系数分别输入到内容编码器和音色编码器中，得到音素特征向量和音色特征向量；分别对音素特征向量、音色特征向量进行分类处理，得到第一分类误差和第二分类误差；将音素特征向量、音色特征向量进行拼接后输入到解码器中，得到重构误差；根据第一分类误差、第二分类误差、重构误差计算语音转换模型的整体损失以对语音转换模型进行更新。本发明基于语音合成技术，通过采用域分离技术对语音转换模型进行训练，不仅能将非平衡语料进行完整的语音转换，而且提高了语音转换准确率。CN112634920ACN112634920A权利要求书1/2页1.一种基于域分离的语音转换模型的训练方法，其特征在于，包括以下步骤：接收预设的训练语音并对所述训练语音进行特征提取，得到所述训练语音的梅尔频率倒谱系数；将所述训练语音的梅尔频率倒谱系数分别输入到内容编码器和音色编码器中，得到所述训练语音的音素特征向量和音色特征向量；根据预设的分类规则分别对所述音素特征向量、所述音色特征向量进行分类处理，得到第一分类误差和第二分类误差；将所述音素特征向量、所述音色特征向量进行拼接并将拼接后的特征向量输入到解码器中，得到所述梅尔频率倒谱系数的重构误差；根据所述第一分类误差、所述第二分类误差以及所述重构误差计算语音转换模型的整体损失并根据所述整体损失更新所述语音转换模型的网络参数。2.根据权利要求1所述的基于域分离的语音转换模型的训练方法，其特征在于，所述对所述训练语音进行特征提取，得到所述训练语音的梅尔频率倒谱系数，包括：获取所述训练语音的频谱并将所述训练语音的频谱输入至预置的梅尔滤波器组中，得到所述训练语音的梅尔频谱；将所述训练语音的梅尔频谱进行倒谱分析，得到所述训练语音的梅尔频率倒谱系数。3.根据权利要求2所述的基于域分离的语音转换模型的训练方法，其特征在于，所述获取所述训练语音的频谱，包括：对所述训练语音进行预处理，得到预处理后的训练语音；将所述预处理后的训练语音进行快速傅里叶变换，得到所述训练语音的频谱。4.根据权利要求1所述的基于域分离的语音转换模型的训练方法，其特征在于，所述根据预设的分类规则分别对所述音素特征向量、所述音色特征向量进行分类处理，得到第一分类误差和第二分类误差，包括：将所述音素特征向量依次通过预置的梯度反转层、预置的第一分类器中，得到所述第一分类误差；将所述音色特征向量输入至预置的第二分类器中，得到所述第二分类误差。5.根据权利要求4所述的基于域分离的语音转换模型的训练方法，其特征在于，所述根据所述第一分类误差、所述第二分类误差以及所述重构误差计算语音转换模型的整体损失，包括：根据弗罗贝尼乌斯范数计算所述音素特征向量与所述音色特征向量的差异损失；根据所述第一分类误差、所述第二分类误差、所述重构误差以及所述差异损失计算所述语音转换模型的整体损失。6.根据权利要求5所述的基于域分离的语音转换模型的训练方法，其特征在于，所述根据所述第一分类误差、所述第二分类误差、所述重构误差以及所述差异损失计算所述语音转换模型的整体损失，包括：将所述音素特征向量输入到预设的ASR系统中进行音素识别，得到交叉熵损失；根据所述第一分类误差、所述第二分类误差、所述重构误差、所述差异损失以及所述交叉熵损失计算所述语音转换模型的整体损失。7.根据权利要求1‑6中任意一项所述的基于域分离的语音转换模型的训练方法，其特2CN112634920A权利要求书2/2页征在于，所述根据所述整体损失更新所述语音转换模型的网络参数之后，还包括：若接收到第一说话人的第一音频，获取所述第一音频的梅尔频率倒谱系数；根据所述音色编码器获取第二说话人中第二音频的音色特征向量并将所述第一音频的梅尔频率倒谱系数输入至所述内容编码器中，得到所述第一音频的音素特征向量；将所述第一音频的音素特征向量与所述第二音频的音色特征向量拼接后输入到所