语音合成和语音识别.pdf

(19)中华人民共和国国家知识产权局(12)发明专利申请(10)申请公布号CN113948064A(43)申请公布日2022.01.18(21)申请号202010620533.5(22)申请日2020.06.30(71)申请人微软技术许可有限责任公司地址美国华盛顿州(72)发明人谭旭秦涛干俊伟赵晟刘铁岩(74)专利代理机构北京市金杜律师事务所11256代理人黄倩(51)Int.Cl.G10L15/06(2013.01)G10L15/02(2006.01)G10L13/02(2013.01)G10L13/08(2013.01)权利要求书4页说明书13页附图4页(54)发明名称语音合成和语音识别(57)摘要根据本公开的实现，提出了用于语音合成和语音识别的方案。根据该方案，支持至少一种语言的语音合成(TTS)模型和自动语音识别(ASR)模型被获取。基于目标语言的第一组配对数据来调整该TTS模型和ASR模型，以支持目标语言。然后，基于第一组配对数据和由ASR模型生成的该目标语言的第一组合成配对数据来优化该TTS模型，同时基于第一组配对数据和由TTS模型生成的该目标语言的第二组合成配对数据来优化该ASR模型。以此方式，该方案能够利用较少的训练数据为缺乏训练数据的语言提供具有较高准确性的TTS模型和ASR模型。CN113948064ACN113948064A权利要求书1/4页1.一种计算机实现的方法，包括：获取支持至少一种语言的语音合成(TTS)模型和自动语音识别(ASR)模型；基于目标语言的第一组配对数据来调整所述TTS模型和所述ASR模型以支持所述目标语言，其中所述第一组配对数据包括来自多个说话者的所述目标语言的语音数据及其对应的文本数据；以及基于所述第一组配对数据和所述目标语言的第一组合成配对数据来优化所述TTS模型，同时基于所述第一组配对数据和所述目标语言的第二组合成配对数据来优化所述ASR模型，其中所述第一组合成配对数据包括来自多个说话者的第一组语音数据和由所述ASR模型基于所述第一组语音数据而生成的第一组文本数据，并且所述第二组合成配对数据包括第二组文本数据和由所述TTS模型基于所述第二组文本数据而生成的多个说话者的第二组语音数据。2.根据权利要求1所述的方法，其中获取所述TTS模型和所述ASR模型包括：基于所述至少一种语言的第二组配对数据来训练所述TTS模型和所述ASR模型，其中所述第二组配对数据包括来自多个说话者的所述至少一种语言的语音数据及其对应的文本数据。3.根据权利要求1所述的方法，还包括：基于所述第一组配对数据以及由经优化的所述TTS模型和所述ASR模型生成的所述目标语言的多组合成配对数据，训练目标TTS模型和目标ASR模型。4.根据权利要求3所述的方法，其中训练所述目标TTS模型包括：从所述第一组配对数据中获取与所述多个说话者中的目标说话者相关联的第三组配对数据，其中所述第三组配对数据包括来自所述目标说话者的所述目标语言的语音数据及其对应的文本数据；利用经优化的所述TTS模型来生成所述目标语言的第三组合成配对数据，其中所述第三组合成配对数据包括第三组文本数据和由经优化的所述TTS模型基于所述第三组文本数据而生成的所述目标说话者的第三组语音数据；以及基于所述第三组配对数据和所述第三组合成配对数据来训练目标TTS模型，以使得所述目标TTS模型能够基于所述目标语言的文本数据来生成与所述文本数据对应的所述目标说话者的语音数据。5.根据权利要求4所述的方法，其中基于所述第三组配对数据和所述第三组合成配对数据来训练所述目标TTS模型包括：过滤所述第三组语音数据中的不合格语音数据和所述第三组文本数据中与所述不合格语音数据对应的文本数据，以得到第四组合成配对数据；以及基于所述第三组配对数据和所述第四组合成配对数据来训练所述目标TTS模型。6.根据权利要求5所述的方法，其中所述不合格语音数据包括以下至少一项：出现词语遗漏的语音数据；出现词语重复的语音数据；以及无法理解的语音数据。7.根据权利要求5所述的方法，其中过滤所述不合格语音数据包括：过滤所述第三组语音数据中单词覆盖率(WCR)低于预定阈值的语音数据，其中所述WCR2CN113948064A权利要求书2/4页与所述语音数据出现词语遗漏或词语重复的可能性负相关。8.根据权利要求5所述的方法，其中过滤所述不合格语音数据包括：过滤所述第三组语音数据中注意力对角比(ADR)低于预定阈值的语音数据，其中所述ADR指示所述语音数据与所述第三组文本数据中用于生成所述语音数据的文本数据之间的对齐程度。9.根据权利要求3所述的方法，其中训练所述目标ASR模型包括：利用经优化的所述TTS模型来生成所述目标语言的第五组合成配对数据，其中所述第五组合成配对数据包括第三组文本数据和由经优化的所述TTS