生成对抗网络训练方法、音频风格迁移方法及装置.pdf

(19)中华人民共和国国家知识产权局(12)发明专利申请(10)申请公布号CN112562728A(43)申请公布日2021.03.26(21)申请号202011270010.9(22)申请日2020.11.13(71)申请人百果园技术（新加坡）有限公司地址新加坡巴西班让路枫树商业城30号楼15层31A(72)发明人陈江胡正伦(74)专利代理机构北京品源专利代理有限公司11332代理人孟金喆(51)Int.Cl.G10L25/48(2013.01)G10L25/24(2013.01)G10L25/30(2013.01)G06N3/04(2006.01)G06N3/08(2006.01)权利要求书4页说明书12页附图5页(54)发明名称生成对抗网络训练方法、音频风格迁移方法及装置(57)摘要本发明实施例公开一种生成对抗网络训练方法、音频风格迁移方法及装置，训练方法包括：获取内容音频数据和风格音频数据；将风格音频数据输入说话人向量提取模型得到说话人向量；获取内容音频数据的原始频谱参数和原始梅尔倒谱参数；基于说话人向量、原始频谱参数以及原始梅尔倒谱参数训练生成对抗网络，生成对抗网络的生成器用于输入说话人向量、原始频谱参数以及原始梅尔倒谱参数后生成目标频谱参数和目标梅尔倒谱参数，目标频谱参数和目标梅尔倒谱参数用于合成具有风格音频数据的音频风格的目标音频数据。在使用生成器对原说话人的音频数据进行风格迁移时，可以提取任意说话人的说话人向量输入到生成器中，实现了集合外音频风格迁移。CN112562728ACN112562728A权利要求书1/4页1.一种生成对抗网络训练方法，其特征在于，包括：获取内容音频数据和风格音频数据；将所述风格音频数据输入预先训练好的说话人向量提取模型中，得到所述风格音频数据的说话人向量；获取所述内容音频数据的原始频谱参数和原始梅尔倒谱参数；基于所述说话人向量、所述原始频谱参数以及所述原始梅尔倒谱参数训练生成对抗网络，所述生成对抗网络包括生成器，所述生成器用于输入所述说话人向量、所述原始频谱参数以及所述原始梅尔倒谱参数后生成目标频谱参数和目标梅尔倒谱参数，所述目标频谱参数和目标梅尔倒谱参数用于合成目标音频数据，所述目标音频数据的内容为所述内容音频数据的内容，所述目标音频数据的风格为所述风格音频数据的风格。2.根据权利要求1所述的生成对抗网络训练方法，其特征在于，所述将所述风格音频数据输入预先训练好的说话人向量提取模型中，得到所述风格音频数据的说话人向量，包括：提取所述风格音频数据的频谱参数；将所述频谱参数输入预先训练好的说话人向量提取模型中提取所述风格音频数据的说话人向量。3.根据权利要求1所述的生成对抗网络训练方法，其特征在于，所述生成对抗网络包括第一编码器、第一生成器、第二编码器以及第二生成器，所述基于所述说话人向量、所述原始频谱参数以及所述原始梅尔倒谱参数训练生成对抗网络，包括：将所述内容音频数据的原始频谱参数输入所述第一编码器得到频谱特征，以及将所述内容音频数据的原始梅尔倒谱参数输入所述第二编码器得到梅尔倒谱特征；将所述频谱特征和所述说话人向量输入所述第一生成器得到目标频谱参数，以及将所述梅尔倒谱特征和所述说话人向量输入所述第二生成器得到目标梅尔倒谱参数；基于所述目标频谱参数、所述目标梅尔倒谱参数以及所述说话人向量计算所述生成器的生成总损失值；判断所述生成总损失值是否小于预设的第一阈值；若是，结束对所述生成器进行训练；若否，根据所述生成总损失值调整所述第一生成器和所述第二生成器的网络参数，返回将所述内容音频数据的原始频谱参数输入所述第一编码器得到频谱特征，以及将所述内容音频数据的原始梅尔倒谱参数输入所述第二编码器得到梅尔倒谱特征的步骤。4.根据权利要求3所述的生成对抗网络训练方法，其特征在于，所述基于所述目标频谱参数、所述目标梅尔倒谱参数以及所述说话人向量计算所述生成器的生成总损失值，包括：将所述梅尔倒谱特征和所述说话人向量输入所述第一生成器得到第一附加参数，以及将所述频谱特征和所述说话人向量输入所述第二生成器得到第二附加参数；采用所述目标频谱参数、所述目标梅尔倒谱参数以及所述说话人向量计算所述生成器的第一生成损失值；采用所述第一附加参数、所述第二附加参数以及所述说话人向量计算所述生成器的第二生成损失值；采用所述原始频谱参数和所述原始梅尔倒谱参数计算第三生成损失值；计算所述频谱特征和所述梅尔倒谱特征的相似度作为第四生成损失值；2CN112562728A权利要求书2/4页对所述第一生成损失值、所述第二生成损失值、第三生成损失值以及所述第四生成损失值求和得到生成总损失值。5.根据权利要求4所述的生成对抗网络训练方法，其特征在于，所述采用所述目标频谱参数、所述目标梅尔倒谱参数以及所述说话人向量计算所述生成器的第一生