用于语音识别的语言模型的训练、语音识别方法及装置.pdf

(19)中华人民共和国国家知识产权局(12)发明专利申请(10)申请公布号CN114299920A(43)申请公布日2022.04.08(21)申请号202111021975.9(22)申请日2021.09.01(71)申请人腾讯科技（深圳）有限公司地址518057广东省深圳市南山区高新区科技中一路腾讯大厦35层(72)发明人张一珂马龙(74)专利代理机构深圳翼盛智成知识产权事务所(普通合伙)44300代理人李汉亮(51)Int.Cl.G10L15/00(2013.01)G10L15/02(2006.01)G10L15/06(2013.01)G10L15/26(2006.01)G06F16/35(2019.01)权利要求书3页说明书18页附图5页(54)发明名称用于语音识别的语言模型的训练、语音识别方法及装置(57)摘要本申请公开了一种用于语音识别的语言模型的训练、语音识别方法及装置，涉及人工智能及地图车联技术领域，该方法包括：对文本数据集中的语句进行领域分类处理，得到至少一个语句集；对每个语句集进行权重评估，以基于每个语句集的权重确定符合预定重要性条件的目标语句集；基于目标语句集对应的语句数目及权重进行计算处理，得到采样数目；根据采样数目及语句集的权重进行采样概率分配处理，得到每个语句集中语句的采样概率；从每个语句集中按照对应采样概率进行语句抽取，生成训练语句集；基于训练语句集对语言模型进行训练。本申请提升用于语音识别的语言模型对于数据稀疏领域的分析性能，且语言模型进行分析时不需要输入额外特征及领域信息。CN114299920ACN114299920A权利要求书1/3页1.一种用于语音识别的语言模型的训练方法，其特征在于，包括：对文本数据集中的语句进行领域分类处理，得到至少一个领域的语句集；对每个所述语句集进行权重评估，以基于每个所述语句集的权重确定符合预定重要性条件的目标语句集；基于所述目标语句集对应的语句数目及权重进行计算处理，得到用于训练语言模型的语句的采样数目；根据所述采样数目及每个所述语句集的权重进行采样概率分配处理，得到每个所述语句集中语句的采样概率；从每个所述语句集中按照对应采样概率进行语句抽取，生成训练语句集；基于所述训练语句集对所述语言模型进行训练，得到训练后语言模型。2.根据权利要求1所述的方法，其特征在于，所述对每个所述语句集进行权重评估，以基于每个所述语句集的权重确定符合预定重要性条件的目标语句集，包括：基于每个领域的所述语句集对目标文法模型进行训练，得到每个领域对应的领域文法模型；采用每个所述领域文法模型对验证数据集中的每个词进行关联出现概率分析，得到每个所述领域文法模型输出的关联出现概率；基于每个所述领域文法模型输出的关联出现概率进行期望最大化权重插值处理，得到每个所述语句集的权重；基于所述权重确定符合预定重要性条件的目标语句集。3.根据权利要求2所述的方法，其特征在于，所述基于所述权重确定符合预定重要性条件的目标语句集，包括：确定权重最大的预定数目个所述语句集为候选语句集，或确定权重大于预定阈值的至少一个所述语句集为候选语句集；从所述候选语句集中确定包含语句的个数最大的语句集，作为所述目标语句集。4.根据权利要求1所述的方法，其特征在于，所有所述语句集的权重之和等于一；所述基于所述目标语句集对应的语句数目及权重进行计算处理，得到用于训练语言模型的语句的采样数目，包括：计算所述目标语句集对应的语句数目及权重的整数比值；将所述整数比值确定为从所有所述语句集中采集用于训练语言模型的语句的采样数目。5.根据权利要求1所述的方法，其特征在于，所述根据所述采样数目及每个所述语句集的权重进行采样概率分配处理，得到每个所述语句集中语句的采样概率，包括：计算每个所述语句集的权重与所有所述语句集的权重之和的权重比值，得到每个语句集对应的权重比值；计算每个所述语句集对应的权重比值与所述采样数目的乘积，作为每个所述语句集对应的语句采样数；基于每个所述语句集对应的语句采样数与语句数目进行比值计算，以确定每个所述语句集中语句的采样概率。6.根据权利要求5所述的方法，其特征在于，所述基于每个所述语句集对应的语句采样2CN114299920A权利要求书2/3页数与语句数目进行比值计算，以确定每个所述语句集中语句的采样概率，包括：针对每个所述语句集，当所述语句集对应的语句采样数小于语句数目时，计算所述语句集对应的语句采样数与语句数目的个数比；当所述语句集对应的语句采样数大于或等于语句数目时，对所述语句集中进行语句复制扩充处理，并计算所述语句集对应的语句采样数与扩充后语句数目的个数比；将每个所述语句集对应的个数比，作为每个所述语句集中语句的采样概率。7.根据权利要求6所述的方法，其特征在于，所述从每个所述语句集中按照对应采样概率进