语音合成方法、系统、终端设备和可读存储介质.pdf

(19)中华人民共和国国家知识产权局(12)发明专利申请(10)申请公布号CN110379409A(43)申请公布日2019.10.25(21)申请号201910516181.6(22)申请日2019.06.14(71)申请人平安科技（深圳）有限公司地址518033广东省深圳市福田区福田街道福安社区益田路5033号平安金融中心23楼(72)发明人彭话易王健宗(74)专利代理机构北京鸿元知识产权代理有限公司11327代理人李玉琦曹素云(51)Int.Cl.G10L13/08(2013.01)G10L25/30(2013.01)权利要求书2页说明书8页附图4页(54)发明名称语音合成方法、系统、终端设备和可读存储介质(57)摘要本发明涉及语音语义领域，具体涉及一种语音合成方法、系统、终端设备和可读存储介质，通过确认欲合成的目标语音所要表达的情绪标签，并根据所述情绪标签生成情绪标签向量，然后结合所述文本向量和所述情绪标签向量生成梅尔语谱图；再根据所述梅尔语谱图生成所述目标语音，且所述目标语音能够表达出不同的情绪，如高兴、愤怒以及悲伤，进而使基于深度学习的语音合成系统合成的语音富有情感色彩并且更有表现力。CN110379409ACN110379409A权利要求书1/2页1.一种语音合成方法，其特征在于，包括：获取文本数据，并根据所述文本数据生成文本向量；确认欲合成的目标语音所要表达的情绪标签，并根据所述情绪标签生成情绪标签向量；结合所述文本向量和所述情绪标签向量生成梅尔语谱图；根据所述梅尔语谱图生成所述目标语音。2.根据权利要求1所述的语音合成方法，其特征在于，确认欲合成的目标语音所想表达的情绪，并根据所述情绪生成情绪标签向量，包括：确认欲合成的目标语音的字数和所要表达的情绪，从中确认得到欲合成的目标语音的权重样本；通过KNN算法从预训练的权重向量数据库寻找与所述权重样本相匹配的目标权重；将所述目标权重与预训练得到的表征向量进行点乘，获取情绪标签向量。3.根据权利要求2所述的语音合成方法，其特征在于，通过KNN算法从权重向量数据库寻找与所述权重样本相匹配的目标权重之前，还包括：基于训练模型构建所述权重向量数据库。4.根据权利要求3所述的语音合成方法，其特征在于，基于训练模型构建所述权重向量数据库，包括：从训练用的语音数据库中抽取一语音文件输入训练模型中；对所述语音文件进行音频编码处理；基于注意力机制从音频编码数据中获取权重向量，并将所述权重向量与表征向量进行点乘生成情绪标签向量；获取所述语音文件对应的文本数据，并通过文本嵌入的方式变换为文本向量；将所述文本向量和所述情绪标签向量相加，预测出对应的梅尔语谱图和情绪值；计算预测的梅尔语谱图和情绪值与真实的梅尔语谱图和情绪值的损失代价，再使用反向传播法使训练模型收敛；待所述训练模型收敛完毕后，使用情绪标签生成模块分别对所述语音数据库中的所有语音文件进行处理，得到对应的权重向量，汇集所有权重向量与其相对应语音文件的长度数据、文字数据和情绪值并存储于权重向量数据库。5.根据权利要求1所述的语音合成方法，其特征在于，所述目标语音表达出的情绪种类包括：高兴、愤怒以及悲伤。6.一种语音合成系统，其特征在于，包括：文本嵌入模块，用于获取文本数据，并根据所述文本数据生成文本向量；情绪标签生成模块，用于确认欲合成的目标语音所要表达的情绪标签，并根据所述情绪标签生成情绪标签向量；梅尔语谱生成模块，用于结合所述文本向量和所述情绪标签向量生成梅尔语谱图；语音生成模块，根据所述梅尔语谱图生成所述目标语音。7.根据权利要求6所述的语音合成系统，其特征在于，确认欲合成的目标语音所想表达的情绪，并根据所述情绪生成情绪标签向量，包括：确认欲合成的目标语音的字数和所要表达的情绪，从中确认得到欲合成的目标语音的2CN110379409A权利要求书2/2页权重样本；通过KNN算法从预训练的权重向量数据库寻找与所述权重样本相匹配的目标权重；将所述目标权重与预训练得到的表征向量进行点乘，获取情绪标签向量。8.根据权利要求6所述的语音合成系统，其特征在于，所述语音合成系统还包括：训练模型，其用于构建所述权重向量数据库，具体步骤为：从训练用的语音数据库中抽取一语音文件输入训练模型中；对所述语音文件进行音频编码处理；基于注意力机制从音频编码数据中获取权重向量，并将所述权重向量与表征向量进行点乘生成情绪标签向量；获取所述语音文件对应的文本数据，并通过文本嵌入的方式变换为文本向量；将所述文本向量和所述情绪标签向量相加，预测出对应的梅尔语谱图和情绪值；计算预测的梅尔语谱图和情绪值与真实的梅尔语谱图和情绪值的损失代价，再使用反向传播法使训练模型收敛；待所述训练模型收敛完毕后，使用情绪标签生成模块分别对所述语音数据库中的所有语音文件进行处理，得到对