模型生成方法、装置、电子设备和计算机可读介质.pdf

(19)中华人民共和国国家知识产权局(12)发明专利申请(10)申请公布号CN113761884A(43)申请公布日2021.12.07(21)申请号202110084569.0G06K9/62(2006.01)(22)申请日2021.01.21G06N3/08(2006.01)(71)申请人北京沃东天骏信息技术有限公司地址101116北京市大兴区北京经济技术开发区科创十一街18号院2号楼4层A402室申请人北京京东世纪贸易有限公司(72)发明人邓丽萍蔡玉玉吴俊仪刘郁葱范璐杨帆丁国宏(74)专利代理机构北京唯智勤实知识产权代理事务所(普通合伙)11557代理人陈佳(51)Int.Cl.G06F40/253(2020.01)G06F40/44(2020.01)权利要求书2页说明书9页附图5页(54)发明名称模型生成方法、装置、电子设备和计算机可读介质(57)摘要本公开的实施例公开了模型生成方法、装置、电子设备和计算机可读介质。该模型生成方法的一具体实施方式包括：获取目标文本集和预先训练的第一N元语法模型，其中，该第一N元语法模型是利用文本集组训练的；对该目标文本集进行预处理，得到预处理后的目标文本集；利用该预处理后的目标文本集，生成训练后的第二N元语法模型；依照预先设定的条件对该预先训练的第一N元语法模型和该训练后的第二N元语法模型进行融合，得到第三N元语法模型。该实施方式通过模型之间的融合来生成更为准确、有效的融合模型，以此侧面提高了语言模型的识别率。CN113761884ACN113761884A权利要求书1/2页1.一种模型生成方法，包括：获取目标文本集和预先训练的第一N元语法模型，其中，所述第一N元语法模型是利用文本集组训练的；对所述目标文本集进行预处理，得到预处理后的目标文本集；利用所述预处理后的目标文本集，生成训练后的第二N元语法模型；依照预先设定的条件对所述预先训练的第一N元语法模型和所述训练后的第二N元语法模型进行融合，得到第三N元语法模型。2.根据权利要求1所述的方法，其中，所述方法还包括：利用所述第三N元语法模型，确定目标语句的概率值。3.根据权利要求1所述的方法，其中，所述对所述目标文本集进行预处理，得到预处理后的目标文本集，包括：对所述目标文本集中每个文本进行文本归一化处理以生成处理后的文本，得到处理后的文本集作为所述预处理后的目标文本集。4.根据权利要求3所述的方法，其中，所述对所述目标文本集中每个文本进行文本归一化处理以生成处理后的文本，得到处理后的文本集作为所述预处理后的目标文本集，包括：对所述目标文本集中每个文本中的第一类型字符进行清除以生成清除后的文本，得到清除后的目标文本集；对所述清除后的目标文本集中每个文本中的第二类型字符进行字符替换以生成替换后的文本，得到替换后的文本集作为所述预处理后的目标文本集。5.根据权利要求1所述的方法，其中，所述利用所述预处理后的目标文本集，生成训练后的第二N元语法模型，包括：对所述预处理后的目标文本集中每个文本进行分词处理以生成字段集合，得到字段集合组；将所述字段集合组作为训练集，生成训练后的第二N元语法模型。6.根据权利要求1所述的方法，其中，所述依照预先设定的条件对所述预先训练的第一N元语法模型和所述训练后的第二N元语法模型进行融合，得到第三N元语法模型，包括：依照所述预先设定的条件将所述预先训练的第一N元语法模型中的各个字段组和所述训练后的第二N元语法模型中的各个字段组进行融合，得到融合后的N元语法模型作为所述第三N元语法模型。7.一种模型生成装置，包括：获取单元，被配置成获取目标文本集和预先训练的第一N元语法模型，其中，所述第一N元语法模型是利用文本集组训练的；预处理单元，被配置成对所述目标文本集进行预处理，得到预处理后的目标文本集；训练单元，被配置成利用所述预处理后的目标文本集，生成训练后的第二N元语法模型；融合单元，被配置成依照预先设定的条件对所述预先训练的第一N元语法模型和所述训练后的第二N元语法模型进行融合，得到第三N元语法模型。8.根据权利要求7所述的装置，其中，所述融合单元进一步被配置成：依照所述预先设定的条件将所述预先训练的第一N元语法模型中的各个字段组和所述2CN113761884A权利要求书2/2页训练后的第二N元语法模型中的各个字段组进行融合，得到融合后的N元语法模型作为所述第三N元语法模型。9.一种电子设备，包括：一个或多个处理器；存储装置，用于存储一个或多个程序；当所述一个或多个程序被所述一个或多个处理器执行时，使得所述一个或多个处理器实现如权利要求1‑6中任一所述的方法。10.一种计算机可读介质，其上存储有计算机程序，其中，所述程序被处理器执行时实现如权利要求1‑6中任一所述的方法。3CN113761884A说明书1/9页模型生