一种语音转换方法、装置、设备及介质.pdf

(19)中华人民共和国国家知识产权局(12)发明专利申请(10)申请公布号CN113889130A(43)申请公布日2022.01.04(21)申请号202111138586.4(22)申请日2021.09.27(71)申请人平安科技（深圳）有限公司地址518000广东省深圳市福田区福田街道福安社区益田路5033号平安金融中心23楼(72)发明人张旭龙王健宗(74)专利代理机构广州三环专利商标代理有限公司44202代理人熊永强(51)Int.Cl.G10L21/013(2013.01)G10L25/03(2013.01)权利要求书2页说明书13页附图3页(54)发明名称一种语音转换方法、装置、设备及介质(57)摘要本申请涉及人工智能技术，提供一种语音转换方法、装置、设备及介质。其中的方法包括：获取来自源说话人的源语音信息；通过训练后的语音转换模型对源语音信息进行内容特征提取，得到源语音信息的内容特征；对源语音信息进行说话人特征提取，得到源说话人的说话人特征；对内容特征、源说话人的说话人特征和目标基频信息进行处理，得到转换后的目标语音信息；输出目标语音信息，可提高语音转换后的目标语音的自然度和韵律连贯特性。CN113889130ACN113889130A权利要求书1/2页1.一种语音转换方法，其特征在于，包括：获取来自源说话人的源语音信息；通过训练后的语音转换模型对所述源语音信息进行内容特征提取，得到所述源语音信息的内容特征；对所述源语音信息进行说话人特征提取，得到所述源说话人的说话人特征；对所述内容特征、源说话人的说话人特征和目标基频信息进行处理，得到转换后的目标语音信息；输出所述目标语音信息。2.如权利要求1所述的方法，其特征在于，所述训练后的语音转换模型包括条件自编码器，所述条件自编码器包括编码器和解码器；所述对所述内容特征、源说话人的说话人特征和目标基频信息进行处理，得到转换后的目标语音信息，包括：通过所述编码器将所述源说话人的说话人特征和内容特征进行拼接，得到第一特征，并对所述第一特征进行编码，得到编码后的特征；将所述编码后的特征与所述目标基频信息进行拼接，得到第二特征；通过所述解码器对所述第二特征进行解码，得到所述目标语音信息。3.如权利要求1所述的方法，其特征在于，所述对所述内容特征、源说话人的说话人特征和目标基频信息进行处理，得到转换后的目标语音信息之前，还包括：显示风格设置界面，所述风格设置界面包括多个风格选项；响应于对所述多个风格选项中目标风格选项的选择操作，确定目标风格选项，所述目标风格选项为所述多个风格选项中的任一风格选项；根据风格标签和基频信息的对应关系，在多个基频信息中查找所述目标风格选项指示的风格标签对应的基频信息，并将查找到的基频信息作为所述目标基频信息。4.如权利要求1所述的方法，其特征在于，所述对所述内容特征、源说话人的说话人特征和目标基频信息进行处理，得到转换后的目标语音信息之前，还包括：对所述源语音信息进行音色分析，确定所述源说话人的性别；根据性别和基频信息的对应关系，在多个基频信息中查找确定的性别对应的基频信息，并将查找到的基频信息作为所述目标基频信息。5.如权利要求1所述的方法，其特征在于，所述对所述内容特征、源说话人的说话人特征和目标基频信息进行处理，得到转换后的目标语音信息之前，还包括：对所述源语音信息进行基频信息提取，得到所述源说话人的基频信息；在检测到对所述源说话人的基频信息的调整操作时，对所述源说话人的基频信息进行调整，得到所述目标基频信息。6.如权利要求1所述的方法，其特征在于，所述语音转换模型的训练方法包括：获取训练样本，所述训练样本包括第一用户针对目标文本信息提交的第一语音信息和第二用户针对目标文本信息提交的第二语音信息；通过语音转换模型对所述第一语音信息进行内容特征提取，得到所述第一语音信息的内容特征；对所述第一语音信息进行说话人特征提取，得到所述第一用户的说话人特征；2CN113889130A权利要求书2/2页对所述第二语音信息进行说话人特征提取，得到所述第二用户的说话人特征；对所述第二语音信息进行基频信息提取，得到第二用户的基频信息；对所述内容特征、第一用户的说话人特征、基频信息和第二用户的说话人特征进行处理，得到预测语音信息；根据所述预测语音信息和所述第二语音信息，对所述语音转换模型进行训练，得到所述训练后的语音转换模型。7.如权利要求6所述的方法，其特征在于，所述根据所述预测语音信息和所述第二语音信息，对所述语音转换模型进行训练，得到所述训练后的语音转换模型，包括：获取所述预测语音信息的第一频谱，以及所述第二语音信息的第二频谱；将所述第一频谱和所述第二频谱进行比对，得到损失值；基于所述损失值，对所述语音转换模型进行训练，得到所述训练后的语音转换模型。8.一种语