语音合成系统的训练方法、装置及语音合成方法、装置.pdf

(19)中华人民共和国国家知识产权局(12)发明专利申请(10)申请公布号CN114267326A(43)申请公布日2022.04.01(21)申请号202111676657.6G06F40/117(2020.01)(22)申请日2021.12.31G06F40/166(2020.01)(71)申请人达闼机器人有限公司地址200245上海市闵行区中青路207号8幢(72)发明人董天旭(74)专利代理机构北京智晨知识产权代理有限公司11584代理人张婧(51)Int.Cl.G10L13/02(2013.01)G10L13/10(2013.01)G10L17/02(2013.01)G10L17/04(2013.01)G10L17/18(2013.01)权利要求书3页说明书13页附图3页(54)发明名称语音合成系统的训练方法、装置及语音合成方法、装置(57)摘要本发明提出一种语音合成系统的训练方法、装置及语音合成方法、装置，属于语音人机交互领域，采用声韵母与音调独立建模，可使语音合成系统仅需较少的训练语料就能覆盖全建模单元。所述方法包括：采集目标发音人的训练语音形成训练音频，并对训练音频进行文本标注；将获得的文本标注转化为发音单元标注，发音单元标注包括对应的声母和带声调的韵母；将发音单元标注拆解并转化为不带音调的发音单元向量和音调向量；基于训练音频、发音单元向量和音调向量，形成训练语音合成系统的训练样本。本发明采用声韵母与音调独立建模，可使语音合成系统仅需较少的训练语料就能覆盖全建模单元。CN114267326ACN114267326A权利要求书1/3页1.一种语音合成系统的训练方法，其特征在于，所述训练方法包括：采集目标发音人的训练语音形成训练音频，并对所述训练音频进行文本标注；将获得的文本标注转化为发音单元标注，所述发音单元标注包括对应的声母和带声调的韵母；将所述发音单元标注拆解并转化为不带音调的发音单元向量和音调向量；基于所述训练音频、所述发音单元向量和所述音调向量，形成训练所述语音合成系统的训练样本。2.根据权利要求1所述的训练方法，其特征在于，在将文本标注转化为发音单元标注之后，且在将所述发音单元标注拆解并转化为不带音调的发音单元向量和音调向量之前，还包括：使用基于语音识别的对齐技术检测所述训练音频中的标准字间停顿，并根据检测出的所述标准字间停顿，修改所述发音单元标注，以使修改后的所述发音单元标注包含所述标准字间停顿的信息。3.根据权利要求1所述的训练方法，其特征在于，形成训练所述语音合成系统的训练样本之前，所述训练方法还包括：基于所述发音单元标注，计算所述发音单元标注对应的各字的音频能量，并基于重读字的所述音频能量大于句子中各字的平均音频能量，得到句子中存在的重读字的信息，然后转化为对应的重读向量；所述训练样本还包括所述重读向量。4.根据权利要求1所述的训练方法，其特征在于，形成训练所述语音合成系统的训练样本之前，所述训练方法还包括：根据所述文本标注中标注句子的结束符号，获得对应的句式标识；所述训练样本还包括所述句式标识。5.根据权利要求1所述的训练方法，其特征在于，形成训练所述语音合成系统的训练样本之前，还包括：筛选所述训练音频中的浊音段；使用声纹提取技术，提取所述浊音段的声纹进行平均作为发音人编码；所述训练样本还包括所述发音人编码。6.根据权利要求1所述的训练方法，其特征在于，所述发音单元向量与所述音调向量一一对应。7.根据权利要求6所述的训练方法，其特征在于，所述发音单元向量包括与拼音字母对应的字母向量单元和不发音单元，所述不发音单元用于表示起始和结束的静音以及停顿的标点符号。8.根据权利要求7所述的训练方法，其特征在于，所述音调向量定义6个音调标识，分别对应不发音单元及声母的没声调，韵母的一声、二声、三声、四声、轻声，其中，所述不发音单元及声母的没声调对应同一个所述音调标识。9.根据权利要求1‑8任一项所述的训练方法，其特征在于，所述语音合成系统为基于VITS的语音合成系统。10.根据权利要求9所述的训练方法，其特征在于，所述训练样本包括所述发音单元向2CN114267326A权利要求书2/3页量和所述音调向量，所述训练方法还包括：对所述训练样本的所述发音单元向量和所述音调向量，分别采用不同的嵌入网络层进行编码；将所述音调向量编码后得到的第二特征向量叠加到所述发音单元向量编码后得到的第一特征向量上，输入所述语音合成系统的神经网络；所述神经网络经过训练后，所述语音合成系统学习发音单元依据音调进行变调的规律。11.根据权利要求10所述的训练方法，其特征在于，所述训练样本包括所述训练音频和重读向量，所述训练音频在输入前经过了如下预处理：获得标准字间停顿，据此对所述标准字间停顿进行显示建模；获得重读字，据此对重读进行显示