音频合成方法、装置、电子设备和可读存储介质.pdf

(19)中华人民共和国国家知识产权局(12)发明专利申请(10)申请公布号CN113870828A(43)申请公布日2021.12.31(21)申请号202111148956.2(22)申请日2021.09.28(71)申请人维沃移动通信有限公司地址523863广东省东莞市长安镇维沃路1号(72)发明人蒋微(74)专利代理机构北京博雅睿泉专利代理事务所(特殊普通合伙)11442代理人孙菲(51)Int.Cl.G10L13/02(2013.01)G10L13/10(2013.01)权利要求书3页说明书10页附图3页(54)发明名称音频合成方法、装置、电子设备和可读存储介质(57)摘要本申请公开了一种音频合成方法、装置、电子设备和可读存储介质，属于语音合成技术领域。该方法包括：获取目标信息；获取目标发音人的韵律特性参数，所述韵律特性参数包括语速参考向量、停顿长度参考向量、风格向量；根据所述目标信息和所述韵律特性参数，确定声学特征信息；对所述声学特征信息进行转换，生成与所述目标信息对应的目标音频数据。CN113870828ACN113870828A权利要求书1/3页1.一种音频合成方法，其特征在于，所述方法包括：获取目标信息；获取目标发音人的韵律特性参数，所述韵律特性参数包括语速参考向量、停顿长度参考向量、风格向量；根据所述目标信息和所述韵律特性参数，确定声学特征信息；对所述声学特征信息进行转换，生成与所述目标信息对应的目标音频数据。2.根据权利要求1所述的方法，其特征在于，所述根据所述目标信息和所述韵律特性参数，确定声学特征信息，包括：对所述目标信息进行分析，得到文本特征参数，所述文本特征参数包括第一音素序列和文本韵律；根据所述文本韵律、所述停顿长度参考向量和所述第一音素序列，生成第二音素序列；根据所述第二音素序列和所述语速参考向量，确定第一音频特征；根据所述第一音频特征和所述风格向量，确定第二音频特征；基于声学预测模型，根据所述第二音频特征，确定所述声学特征信息。3.根据权利要求2所述的方法，其特征在于，所述根据所述文本韵律、所述停顿长度参考向量和所述第一音素序列，生成第二音素序列，包括：根据所述文本韵律和所述停顿长度参考向量，生成修正后的韵律信息；根据所述修正后的韵律信息和所述第一音素序列，生成第二音素序列。4.根据权利要求2所述的方法，其特征在于，所述根据所述第二音素序列和所述语速参考向量，确定第一音频特征，包括：基于所述第二音素序列进行时长预测，得到第一音素时长；根据所述语速参考向量对所述第一音素时长进行调整，得到第二音素时长；根据所述第二音素时长对所述第二音素序列进行扩展，得到第一音频特征。5.根据权利要求2所述的方法，其特征在于，所述基于声学预测模型，根据所述第二音频特征，确定所述声学特征信息之前，所述方法还包括：获取所述目标发音人的第一音频数据，所述第一音频数据为所述目标发音人朗读预设文本的音频数据；基于所述第一音频数据，进行模型训练，得到所述声学预测模型；其中，所述声学预测模型用于根据第二音频特征得到声学特征信息。6.根据权利要求1所述的方法，其特征在于，所述韵律特性参数包括语速参考向量，所述获取目标发音人的韵律特性参数，包括：获取所述目标发音人的历史音频数据；根据所述历史音频数据，确定所述目标发音人的第一平均语速；根据所述第一平均语速和预设平均语速，确定所述语速参考向量。7.根据权利要求1所述的方法，其特征在于，所述韵律特性参数包括停顿长度参考向量，所述获取目标发音人的韵律特性参数，包括：获取所述目标发音人的历史音频数据；根据所述历史音频数据，确定不同音节长度对应的停顿概率；根据所述不同音节长度对应的停顿概率，确定停顿长度参考向量。2CN113870828A权利要求书2/3页8.一种音频合成装置，其特征在于，所述装置包括：第一获取模块，用于获取目标信息；第二获取模块，用于获取目标发音人的韵律特性参数，所述韵律特性参数包括语速参考向量、停顿长度参考向量、风格向量；第一确定模块，用于根据所述目标信息和所述韵律特性参数，确定声学特征信息；生成模块，用于对所述声学特征信息进行转换，生成与所述目标信息对应的目标音频数据。9.根据权利要求8所述的装置，其特征在于，所述第一确定模块，包括：文本分析单元，用于对所述目标信息进行分析，得到文本特征参数，所述文本特征参数包括第一音素序列和文本韵律；第一生成单元，用于根据所述文本韵律、所述停顿长度参考向量和所述第一音素序列，生成第二音素序列；第一确定单元，用于根据所述第二音素序列和所述语速参考向量，确定第一音频特征；第二确定单元，用于根据所述第一音频特征和所述风格向量，确定第二音频特征；第三确定单元，用于基于声学预测模型，根据所述第二音频特征，确定所述声学特征信息。10.根据权利要求9