语言模型的训练方法及装置、电子设备、存储介质.pdf

(19)中华人民共和国国家知识产权局(12)发明专利申请(10)申请公布号CN113761901A(43)申请公布日2021.12.07(21)申请号202111052703.5(22)申请日2021.09.09(71)申请人竹间智能科技（上海）有限公司地址200030上海市徐汇区宜山路700号B2幢楼18层整层(72)发明人简仁贤陈映文林长洲(74)专利代理机构北京超凡宏宇专利代理事务所(特殊普通合伙)11463代理人唐正瑜(51)Int.Cl.G06F40/284(2020.01)G06F40/216(2020.01)G06K9/62(2006.01)权利要求书2页说明书10页附图6页(54)发明名称语言模型的训练方法及装置、电子设备、存储介质(57)摘要本申请提供一种语言模型的训练方法及装置、电子设备、计算机可读存储介质，用于：根据预设训练语料集训练出多个N元模型；根据最大期望算法，确定所述多个N元模型在处理预设目标语料集时，每个N元模型对应的最佳权重系数；根据每个N元模型对应的最佳权重系数，对所述多个N元模型进行插补处理，得到语言模型。本申请方案，通过最大期望算法确定各N元模型在处理目标语料集时的最佳权重系数，以最佳权重系数对多个N元模型进行插补处理后，可以得到整体处理结果最优的语言模型。CN113761901ACN113761901A权利要求书1/2页1.一种语言模型的训练方法，其特征在于，包括：根据预设训练语料集训练出多个N元模型；根据最大期望算法，确定所述多个N元模型在处理预设目标语料集时，每个N元模型对应的最佳权重系数；根据每个N元模型对应的最佳权重系数，对所述多个N元模型进行插补处理，得到语言模型。2.根据权利要求1所述的方法，其特征在于，所述最大期望算法包括期望算法、权重更新算法和核函数；所述根据最大期望算法，确定所述多个N元模型在处理预设目标语料集时，每个N元模型对应的最佳权重系数，包括：针对任一N元模型，在所述多个N元模型当前权重系数基础上，依据所述期望算法，确定所述N元模型在处理所述目标语料集中任一词语的期望参数；针对任一N元模型，根据每个N元模型处理每个词语的期望参数，基于所述权重更新算法确定所述N元模型更新后的权重系数；根据所述核函数对所述多个N元模型更新后的权重系数进行评估，并依据评估结果确定所述核函数是否收敛；重复上述过程，直至所述核函数收敛，确定每个N元模型对应的权重系数为最佳权重系数。3.根据权利要求2所述的方法，其特征在于，所述目标语料集包括多个目标子集；所述针对任一N元模型，在所述多个N元模型当前权重系数基础上，依据所述期望算法，确定所述N元模型在处理所述目标语料集中任一词语的期望参数，包括：针对所述目标子集中任一词语，依据每个N元模型分别确定所述词语在所述目标子集出现的机率，获得多个机率；根据所述多个N元模型当前权重系数，对每个N元模型确定的机率加权求和；针对任一N元模型，将所述N元模型的当前权重系数和为所述词语确定的机率相乘；基于相乘结果和加权求和结果，确定所述N元模型处理所述词语的期望参数。4.根据权利要求2所述的方法，其特征在于，所述目标语料集包括多个目标子集；所述针对任一N元模型，根据每个N元模型处理每个词语的期望参数，基于所述权重更新算法确定所述N元模型更新后的权重系数，包括：针对任一N元模型，根据所述N元模型处理任一目标子集中每个词语的期望参数、以及所述目标子集的词语总数，确定所述N元模型处理所述目标子集的中间参数；针对任一N元模型，根据所述N元模型处理每个目标子集的中间参数、以及每个目标子集的预设语料集权值，确定所述N元模型更新后的权重系数。5.根据权利要求2所述的方法，其特征在于，所述目标语料集包括多个目标子集；所述根据所述核函数对所述多个N元模型更新后的权重系数进行评估，包括：根据每个N元模型所确定的任一目标子集中每个词语的机率、所述目标子集的词语总数、每个N元模型更新后的权重系数，确定所述目标子集对应的中间评估参数；根据每个目标子集对应的中间评估参数、以及每个目标子集的预设语料集权值，确定评估结果。2CN113761901A权利要求书2/2页6.根据权利要求2所述的方法，其特征在于，所述确定每个N元模型对应的权重系数为最佳权重系数，包括：在多组初始权重系数的基础上，执行权重系数的迭代更新过程，当多个核函数收敛时，确定收敛程度最高的核函数，作为目标核函数；将所述目标核函数所处理的每个N元模型更新后的权重系数，确定为每个N元模型的最佳权重系数。7.根据权利要求1所述的方法，其特征在于，在所述得到语言模型之后，所述方法还包括：根据预设调试语料集训练出调试集N元模型；根据所述语言模型和所述调试集N元模型预设的调试权重系数，对所述语言模型和所述调试集N元模型进行插补处理，得