基于人工智能的语音合成方法、装置、设备及存储介质.pdf

(19)中华人民共和国国家知识产权局(12)发明专利申请(10)申请公布号CN113870835A(43)申请公布日2021.12.31(21)申请号202111135799.1(22)申请日2021.09.27(71)申请人平安科技（深圳）有限公司地址518033广东省深圳市福田区福田街道福安社区益田路5033号平安金融中心23楼(72)发明人张旭龙王健宗(74)专利代理机构北京鸿元知识产权代理有限公司11327代理人王迎袁文婷(51)Int.Cl.G10L13/08(2013.01)G10L25/30(2013.01)权利要求书3页说明书15页附图3页(54)发明名称基于人工智能的语音合成方法、装置、设备及存储介质(57)摘要本发明涉及人工智能技术，揭露一种基于人工智能的语音合成方法，包括：获取预设语言的语言文本数据，并基于所述语言文本数据确定训练数据；将所述训练数据输入预设神经网络模型的编码器模块，获取与所述训练数据相对应的特征表示；将所述特征表示输入所述预设神经网络模型的解码器模块，获取与所述特征表示相对应的目标因素；基于所述目标因素迭代训练所述神经网络模型，直至所述神经网络模型的损失收敛在预设范围内，形成文本处理模型；基于所述文本处理模型获取与待处理文本数据对应的目标语言的声学特征；基于声学特征以及外设声码器，获取待处理文本数据的目标语言的合成语音。本发明可以提高文本转语音的效率，实现多语种的语音合成。CN113870835ACN113870835A权利要求书1/3页1.一种基于人工智能的语音合成方法，其特征在于，所述方法包括：获取包含预设语言的语言文本数据，并基于所述语言文本数据确定训练数据；将所述训练数据输入预设神经网络模型的编码器模块，获取与所述训练数据相对应的特征表示；将所述特征表示输入所述预设神经网络模型的解码器模块，获取与所述特征表示相对应的目标因素；其中，与所述目标因素对应的语言种类与所述语言文本数据对应的语言种类不同；基于所述目标因素迭代训练所述神经网络模型，直至所述神经网络模型的损失收敛在预设范围内，形成文本处理模型；基于所述文本处理模型获取与待处理文本数据对应的目标语言的声学特征；基于所述声学特征以及外设声码器，获取所述待处理文本数据的目标语言的合成语音。2.如权利要求1所述的基于人工智能的语音合成方法，其特征在于，所述获取包含预设语言的语言文本数据，并基于所述语言文本数据确定训练数据，包括：基于预设多音字识别模型获取所述语言文本数据中的各文字的预测读音；基于预设韵律停顿准则，对所述语言文本数据进行停顿标记处理，以获取带有停顿标记的文本数据；对所述文本数据以及所述预测读音进行预处理，获取与所述语言文本数据相对应的字符串信息，作为所述训练数据。3.如权利要求1所述的基于人工智能的语音合成方法，其特征在于，所述将所述训练数据输入预设神经网络模型的编码器模块，获取与所述训练数据相对应的特征表示，包括：将所述训练数据输入所述编码器模块，获取与所述训练数据相对应的编码信息以及位置信息；基于所述编码器模块的多头自注意力层获取所述编码信息及位置信息的中间向量；基于所述编码器模块的layerNorm层对所述中间向量、所述编码信息以及所述位置信息进行正则化处理，得到所述特征表示。4.如权利要求3所述的基于人工智能的语音合成方法，其特征在于，所述获取与所述训练数据相对应的编码信息以及位置信息，包括：根据预设分割字母对所述字符串进行编码拆分，得到对应的单元组作为获取所述字符串的编码信息；按照所述字符串的顺序，对各单元组内的字符进行位置编码，确定与所述各单元组对应的位置信息。5.如权利要求1所述的基于人工智能的语音合成方法，其特征在于，所述将所述特征表示输入所述预设神经网络模型的解码器模块，获取与所述特征表示相对应的目标因素，包括：通过所述解码器模块中的掩蔽注意力层对所述解码器模块的历史输出进行掩蔽注意力处理，获取对应的掩蔽变量；基于所述解码器模块中的layerNorm层对所述掩蔽变量以及所述上一步迭代的输出进行标准化处理，获取对应的标准变量；2CN113870835A权利要求书2/3页基于所述解码器模块中的多头自注意力层对所述标准变量以及所述特征表示进行自注意力机制处理，获取对应的中间变量；基于所述中间变量输出与所述特征表示对应的目标因素。6.如权利要求1所述的基于人工智能的语音合成方法，其特征在于，所述神经网络模型的损失包括所述目标因素与所述训练数据的真实音频频谱之间的损失函数；其中，所述损失函数包括平均绝对误差函数、均方误差函数或交叉熵损失函数；所述平均绝对误差函数的表达公式为：所述均方误差函数的表达公式为：其中，n表示输入训练数据的个数，yi表示第i个训练数据的真实音频频谱值，表示第i个训练数据预测的目标因素；所