端到端语音识别模型处理方法、语音识别方法及相关装置.pdf

(19)中华人民共和国国家知识产权局(12)发明专利申请(10)申请公布号CN114299930A(43)申请公布日2022.04.08(21)申请号202111574334.6(22)申请日2021.12.21(71)申请人广州虎牙科技有限公司地址511495广东省广州市番禺区钟村街（汉溪商业中心）泽溪街13号1301(72)发明人吴振宗刘柏基陈宇徐易楠康世胤许佳(74)专利代理机构北京超凡宏宇专利代理事务所(特殊普通合伙)11463代理人张欣欣(51)Int.Cl.G10L15/06(2013.01)G10L15/16(2006.01)G10L15/26(2006.01)权利要求书3页说明书10页附图6页(54)发明名称端到端语音识别模型处理方法、语音识别方法及相关装置(57)摘要本发明提供的端到端语音识别模型处理方法、语音识别方法及相关装置，方法包括：获取预设词表和文本语料集；其中，所述预设词表用于维护任意一种直播领域中的热词、所述热词对应的发音路径和建模单元；根据所述文本语料集，训练初始的语言模型的模型参数，得到所述直播领域对应的目标语言模型；根据所述热词的发音路径和建模单元，更新所述目标语言模型，并确定更新后的目标语言模型中所述热词的权重；根据更新后的所述目标语言模型，生成端到端语音识别模型。由于在生成的目标语音识别模型中包含了直播领域中的热词的权重，因而使得模型能够实在语音识别过程中自动选取最佳权重对应热词，提高了热词的识别准确率。CN114299930ACN114299930A权利要求书1/3页1.一种端到端语音识别模型处理方法，其特征在于，包括：获取预设词表和文本语料集；其中，所述预设词表用于维护任意一种直播领域中的热词、所述热词对应的发音路径和建模单元；根据所述文本语料集，训练初始的语言模型的模型参数，得到所述直播领域对应的目标语言模型；根据所述热词的发音路径和建模单元，更新所述目标语言模型，并确定更新后的目标语言模型中所述热词的权重；根据更新后的所述目标语言模型，生成端到端语音识别模型。2.根据权利要求1所述的端到端语音识别模型的处理方法，其特征在于，确定更新后的目标语言模型中所述热词的权重，包括：根据所述预设词表，生成测试集；所述测试集中包括多个测试文本；基于所述目标语言模型和预设的声学模型，对所述多个测试文本进行多轮解码，确定每轮解码后的解码错误率和所述预设词表中热词的得分和所述得分对应的权重；若存在连续预设轮，每轮解码后的所述解码错误率均小于预设阈值，则从所述热词对应的得分中确定出最高得分，并将所述最高得分对应的权重，确定为所述热词的权重。3.根据权利要求2所述的端到端语音识别模型处理方法，其特征在于，确定每轮解码后所述预设词表中每个热词的得分和所述得分对应的权重，包括：在每轮解码后，确定每个热词是否对应有所述测试文本；若是，则根据所述每个热词对应的召回率、精确率和分类标签，确定所述得分，在所述得分高于上一轮得分的情况下，将上一轮得分对应的权重按预设规则增加，得到所述得分对应的权重，或者，在所述得分低于上一轮得分的情况下，将所述上一轮得分对应的权重按预设规则减少，得到所述得分对应的权重；其中，所述分类标签用于表征所述热词的重要程度；若否，则在所述每个热词的识别错误次数大于预设次数的情况下，将上一个权重按所述预设规则减小，得到的所述权重作为所述得分，或者，在小于或等于所述预设次数的情况下，将上一个权重按所述预设规则增加，得到的所述权重作为所述得分。4.根据权利要求2或3所述的端到端语音识别模型处理方法，其特征在于，在确定每轮解码后所述测试集的解码错误率和所述预设词表中每个热词的得分和所述得分对应的权重之后，所述方法还包括：基于每轮解码后确定的热词对应的权重，更新所述目标语言模型；更新后的所述目标语言模型用于执行下一轮解码。5.根据权利要求1所述的端到端语音识别模型处理方法，其特征在于，确定更新后的目标语言模型中所述热词的权重，包括：响应于用户的权重配置信息，确定所述预设词表中热词的权重信息。6.根据权利要求1所述的端到端语音识别模型处理方法，其特征在于，根据所述文本语料集，训练初始的语言模型的模型参数，得到所述直播领域对应的目标语言模型，包括：从所述文本语料中确定出第一类文本语料集、第二类文本语料集和第三类文本语料集；其中，所述第一类文本语料集和所述第二类文本语料集中的文本语料具有主播标签；2CN114299930A权利要求书2/3页所述第一类文本语料集中的文本语料为通用文本；所述第二类文本语料集和所述第三类文本语料集中的文本语料为所述任意一种直播领域中的文本语料；分别利用所述第一类文本语料集、第二类文本语料集和第三类文本语料集对初始的语言模型进行训练，得到第一语言模型、第二语言模型和第三语言模型；将所