声学模型训练方法、语音识别方法、装置及电子设备.pdf

(19)中华人民共和国国家知识产权局(12)发明专利申请(10)申请公布号CN111489742A(43)申请公布日2020.08.04(21)申请号201910081563.0(22)申请日2019.01.28(71)申请人北京猎户星空科技有限公司地址100025北京市朝阳区姚家园南路一号惠通时代广场8号(72)发明人吴本谷宋莎莎(74)专利代理机构北京同达信恒知识产权代理有限公司11291代理人黄志华(51)Int.Cl.G10L15/06(2013.01)G10L15/26(2006.01)权利要求书2页说明书10页附图4页(54)发明名称声学模型训练方法、语音识别方法、装置及电子设备(57)摘要本发明公开了一种声学模型训练方法、语音识别方法、装置及电子设备，所述声学模型训练方法包括：获取双语混合字典，双语混合字典包括词汇与发音标注的对应关系，双语混合字典中的外语词汇对应的发音标注包括至少一个声母和/或韵母；根据双语混合字典，确定训练数据集中的训练数据对应的文本包含的词汇对应的发音标注，训练数据至少包括双语混合音频数据；根据所确定的发音标注，得到文本对应的发音标注序列，并将发音标注序列确定为训练数据的训练标签；根据训练数据和训练数据的训练标签，对声学模型进行训练。本发明实施例提供的技术方案，训练得到的声学模型更加符合中国人说外语时的发音习惯，提高了识别双语混合语音的准确率。CN111489742ACN111489742A权利要求书1/2页1.一种声学模型训练方法，其特征在于，包括：获取双语混合字典，所述双语混合字典包括词汇与发音标注的对应关系，所述双语混合字典中的外语词汇对应的发音标注包括至少一个声母和/或韵母；根据所述双语混合字典，确定训练数据集中的训练数据对应的文本包含的词汇对应的发音标注，所述训练数据至少包括双语混合音频数据；根据所确定的发音标注，得到所述文本对应的发音标注序列，并将所述发音标注序列确定为所述训练数据的训练标签；根据所述训练数据和所述训练数据的训练标签，对声学模型进行训练。2.根据权利要求1所述的方法，其特征在于，按照如下方式构建所述外语词汇与发音标注的对应关系：针对所述双语混合字典中的每个外语词汇，根据所述外语词汇的发音，选择至少一个发音单元，确定为所述外语词汇对应的发音标注；所述发音单元包括第一类音节和第二类音节，所述第一类音节包括一个符合汉语发音规则的声母和/或韵母，所述第二类音节包括至少两个符合汉语发音规则的声母和/或韵母。3.根据权利要求2所述的方法，其特征在于，所述选择至少一个发音单元，确定为所述外语词汇对应的发音标注，包括：根据所述外语词汇的发音，依次从第一音节集合和第二音节集合中，选择至少一个发音单元，确定为所述外语词汇对应的发音标注；其中，所述第一音节集合中包括在汉语中无对应汉字的第一类音节，所述第二音节集合中包括在汉语中有对应汉字的第一类音节。4.根据权利要求2所述的方法，其特征在于，每个所述发音单元还包括表征外语词汇发音声调的声调标识。5.根据权利要求1所述的方法，其特征在于，所述双语混合字典中的一个外语词汇对应至少一个发音标注。6.根据权利要求1至5中任一所述的方法，其特征在于，所述声学模型为预先利用中文音频数据和所述中文音频数据的训练标签训练得到的声学模型，所述中文音频数据的训练标签为所述中文音频数据对应的发音标注序列。7.根据权利要求6所述的方法，其特征在于，所述双语混合音频数据的数量与所述中文音频数据的数量的比值不超过第一比值。8.一种语音识别方法，其特征在于，包括：将待识别语音输入声学模型，得到所述待识别语音对应的发音标注序列，所述声学模型为根据权利要求1至7中任一所述声学模型训练方法得到的声学模型，所述发音标注包括至少一个声母和/或韵母；基于所述双语混合字典和语言模型，对所述待识别语音对应的发音标注序列进行识别，得到所述待识别语音对应的文本信息。9.一种电子设备，包括收发机、存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述收发机用于在所述处理器的控制下接收和发送数据，所述处理器执行所述程序时实现权利要求1至8任一项所述方法的步骤。2CN111489742A权利要求书2/2页10.一种计算机可读存储介质，其上存储有计算机程序指令，其特征在于，该程序指令被处理器执行时实现权利要求1至8任一项所述方法的步骤。3CN111489742A说明书1/10页声学模型训练方法、语音识别方法、装置及电子设备技术领域[0001]本发明涉及语音识别技术领域，尤其涉及一种声学模型训练方法、语音识别方法、装置及电子设备。背景技术[0002]随着外语教育的普及以及生活的全球化，人们的日常交流中常夹杂着外语词汇，比如想要听英语歌曲时，会说“给我放首yesterday