语音转换模型训练方法、语音转换方法及装置、设备.pdf

(19)国家知识产权局(12)发明专利申请(10)申请公布号CN114999507A(43)申请公布日2022.09.02(21)申请号202210602744.5(22)申请日2022.05.30(71)申请人平安科技（深圳）有限公司地址518000广东省深圳市福田区福田街道福安社区益田路5033号平安金融中心23楼(72)发明人张旭龙王健宗程宁(74)专利代理机构广州嘉权专利商标事务所有限公司44205专利代理师谭晓欣(51)Int.Cl.G10L21/013(2013.01)G10L25/27(2013.01)权利要求书3页说明书13页附图5页(54)发明名称语音转换模型训练方法、语音转换方法及装置、设备(57)摘要本申请涉及语音处理技术领域，提供了一种语音转换模型训练方法、语音转换方法及装置、设备，语音转换模型训练方法包括：获取第一说话者说话的第一语音音频样本和第二语音音频样本、第二说话者说话的第三语音音频样本，并将其输入到语音转换模型得到对应的第一说话人特征向量、第二说话人特征向量以及第三说话人特征向量，确定第一说话人特征向量与第二说话人特征向量之间的第一相似度值，第三说话人特征向量与第一说话人特征向量或者第二说话人特征向量之间的第二相似度值，并以最大化第一相似度值，最小化第二相似度值为训练目标，对语音转换模型进行训练，能够提高语音转换模型对说话人特征信息的解耦能力。CN114999507ACN114999507A权利要求书1/3页1.一种语音转换模型训练方法，其特征在于，所述方法包括：获取第一说话者说话的第一语音音频样本和第二语音音频样本、第二说话者说话的第三语音音频样本，其中，所述第一语音音频样本和所述第二语音音频样本为所述第一说话者不同说话内容的语音音频；将所述第一语音音频样本、第二语音音频样本和所述第三语音音频样本输入到预设的语音转换模型，以通过所述语音转换模型得到所述第一语音音频样本对应的第一说话人特征向量、所述第二语音音频样本对应的第二说话人特征向量以及所述第三语音音频样本对应的第三说话人特征向量；确定所述第一说话人特征向量与所述第二说话人特征向量之间的第一相似度值，所述第三说话人特征向量与所述第一说话人特征向量或者所述第二说话人特征向量之间的第二相似度值；以最大化所述第一相似度值，最小化所述第二相似度值为训练目标，对所述语音转换模型进行训练。2.根据权利要求1所述的语音转换模型训练方法，其特征在于，所述确定所述第一说话人特征向量与所述第二说话人特征向量之间的第一相似度值，所述第三说话人特征向量与所述第一说话人特征向量或者所述第二说话人特征向量之间的第二相似度值，包括：确定所述第一说话人特征向量与所述第二说话人特征向量之间的第一余弦相似度值，所述第三说话人特征向量与所述第一说话人特征向量或者所述第二说话人特征向量之间的第二余弦相似度值；所述以最大化所述第一相似度值，最小化所述第二相似度值为训练目标，对所述语音转换模型进行训练，包括：以最大化所述第一余弦相似度值，最小化所述第二余弦相似度值为训练目标，对所述语音转换模型进行训练。3.根据权利要求2所述的语音转换模型训练方法，其特征在于，所述以最大化所述第一余弦相似度值，最小化所述第二余弦相似度值为训练目标，对所述语音转换模型进行训练，包括：根据最大化所述第一余弦相似度值的训练目标，确定第一损失函数；根据最小化所述第二余弦相似度值的训练目标，确定第二损失函数；基于所述第一损失函数和所述第二损失函数对所述语音转换模型进行训练。4.根据权利要求3所述的语音转换模型训练方法，其特征在于，所述第一损失函数的公式表示如下：Lrecon1＝|α1‑1|，其中，所述Lrecon1表示所述第一损失函数，所述α1为所述第一余弦相似度值；所述第二损失函数的公式表示如下：Lrecon2＝|α2+1|，其中，所述Lrecon2表示所述第二损失函数，所述α2为所述第二余弦相似度值。5.根据权利要求1所述的语音转换模型训练方法，其特征在于，所述方法还包括：从所述第一语音音频样本、所述第二语音音频样本和所述第三语音音频样本中选取至少一个作为训练语音音频样本；2CN114999507A权利要求书2/3页将所述训练语音音频样本输入至所述语音转换模型，以通过所述语音转换模型得到所述训练语音音频样本对应的重构语音音频；根据所述训练语音音频样本和所述重构语音音频确定第三损失函数，并基于所述第三损失函数对所述语音转换模型进行训练，所述第三损失函数用于确定所述训练语音音频样本和所述重构语音音频之间的差异。6.根据权利要求5所述的语音转换模型训练方法，其特征在于，所述第三损失函数的公式表示如下：Lrecon3＝‖xθ‑x′θ‖1，其中，所述Lrecon3表示所述第三损失函数，所述xθ为所述训练语音音频样本