文本生成模型的训练方法、生成文本的方法以及各自装置.pdf

(19)国家知识产权局(12)发明专利申请(10)申请公布号CN114997395A(43)申请公布日2022.09.02(21)申请号202210429607.6(22)申请日2022.04.22(71)申请人阿里巴巴（中国）有限公司地址311121浙江省杭州市余杭区五常街道文一西路969号3幢5层554室(72)发明人耿瑞莹李亮石翔黎槟华李永彬孙健(74)专利代理机构北京智信禾专利代理有限公司11637专利代理师赵杰(51)Int.Cl.G06N3/08(2006.01)G06N3/04(2006.01)G06F40/166(2020.01)权利要求书2页说明书14页附图7页(54)发明名称文本生成模型的训练方法、生成文本的方法以及各自装置(57)摘要本说明书实施例提供文本生成模型的训练方法、生成文本的方法以及各自装置，其中所述文本生成模型的训练方法包括：获得文本生成模型，以及具有文本相关性的多个任务各自的样本，其中，文本生成模型包括多个训练阶段，每个训练阶段对应不同训练目标，样本具有标注精度等级；针对每个训练阶段，根据多个任务各自的样本中，与该训练阶段的训练目标匹配的标注精度等级的样本，获得该训练阶段的样本集；针对多个训练阶段中的第一个训练阶段，利用该第一个训练阶段的样本集对所述文本生成模型进行训练，得到更新的文本生成模型；针对第一个训练阶段之后的任一训练阶段，利用该任一训练阶段的样本集继续训练文本生成模型，得到更新的文本生成模型。CN114997395ACN114997395A权利要求书1/2页1.一种文本生成模型的训练方法，包括：获得文本生成模型，以及具有文本相关性的多个任务各自的样本，其中，所述文本生成模型包括多个训练阶段，每个训练阶段对应不同训练目标，所述样本具有标注精度等级；针对每个训练阶段，根据所述多个任务各自的样本中，与该训练阶段的训练目标匹配的标注精度等级的样本，获得该训练阶段的样本集，其中，不同训练阶段的样本集不同；针对所述多个训练阶段中的第一个训练阶段，利用该第一个训练阶段的样本集对所述文本生成模型进行训练，得到更新的文本生成模型；针对所述第一个训练阶段之后的任一训练阶段，利用该任一训练阶段的样本集对所述任一训练阶段的上一训练阶段得到的文本生成模型进行训练，得到更新的文本生成模型。2.根据权利要求1所述的方法，所述多个任务分别为从不同结构的结构化数据生成文本的任务；所述文本生成模型为引入结构化适配器的语言模型，其中，所述结构化适配器用于对图的结构进行特征提取；所述方法还包括：获得所述多个任务各自的结构化数据；将所述多个任务各自的结构化数据进行解析，得到所述多个任务各自的若干个节点和节点之间的关系；利用所述多个任务各自的若干个节点和节点之间的关系转换得到所述多个任务各自的图，并获得节点各自的向量表达；利用所述图与所述节点的向量表达，得到所述多个任务各自的样本。3.根据权利要求2所述的方法，所述引入结构化适配器的语言模型，包括：transformer编码模块以及transformer解码模块，其中，所述结构化适配器位于所述transformer编码模块的前馈网络子层之后。4.根据权利要求1所述的方法，所述多个任务包括第一任务以及第二任务；其中，所述第一任务的样本包括第一标注精度等级的样本和第二标注精度等级的样本，所述第二任务的样本包括第一标注精度等级的样本和第二标注精度等级的样本，所述第一标注精度等级的标注精度大于第二标注精度等级的标注精度；所述针对每个训练阶段，根据所述多个任务各自的样本中，与该训练阶段的训练目标匹配的标注精度等级的样本，获得该训练阶段的样本集，包括：针对第一个训练阶段，根据该训练阶段的训练目标为全量训练，利用所述第一任务的第一标注精度等级和第二标注精度等级的样本，以及所述第二任务的第一标注精度等级和第二标注精度等级的样本，得到该训练阶段的样本集；针对第二个训练阶段，根据该训练阶段的训练目标为对第一任务提高精度的训练，利用所述第一任务的第一标注精度等级的样本以及所述第二任务的第一标注精度等级和第二标注精度等级的样本，得到该训练阶段的样本集；针对第三个训练阶段，根据该训练阶段的训练目标为对第二任务提高精度的训练，利用所述第二任务的第一标注精度等级的样本，得到该训练阶段的样本集。5.根据权利要求4所述的方法，所述第一任务为从SQL数据生成文本的任务，所述第二任务为从SQL数据与表格数据生成文本的任务。6.根据权利要求4或5所述的方法，所述多个任务，还包括：与所述第一任务以及第二任2CN114997395A权利要求书2/2页务具有文本相关性的第三任务；所述第一个训练阶段的样本集中还包括第三任务的样本，所述第三任务的样本为第三标注精度等级的样本，所述第三标注精度等级的标注精度小于所述第二标注精度