一种文本生成模型的训练方法和装置.pdf

(19)国家知识产权局(12)发明专利申请(10)申请公布号CN115018050A(43)申请公布日2022.09.06(21)申请号202210589916.X(22)申请日2022.05.26(71)申请人阿里巴巴（中国）有限公司地址311121浙江省杭州市余杭区五常街道文一西路969号3幢5层554室(72)发明人耿瑞莹石翔黎槟华李永彬孙健(74)专利代理机构北京同钧律师事务所16037专利代理师杜叶蕊许怀远(51)Int.Cl.G06N3/04(2006.01)G06N3/08(2006.01)G06F40/151(2020.01)权利要求书2页说明书10页附图4页(54)发明名称一种文本生成模型的训练方法和装置(57)摘要本申请实施例提供了一种文本生成模型的训练方法和装置。本申请提出的方法包括：获取第一神经网络模型；对第一神经网络模型中的编码器的输入关系进行调整，得到第二神经网络模型，所述第二神经网络模型中的第L个编码器用于接收第L‑M个编码器输出的特征向量；使用训练数据对第二神经网络模型进行训练，获得第三神经网络模型；向目标设备发送所述第三神经网络模型。本申请提供的方法，可以提升生成文本时的速度。CN115018050ACN115018050A权利要求书1/2页1.一种文本生成模型的训练方法，其特征在于，应用于第一服务器，包括：获取第一神经网络模型，所述第一神经网络模型包括N1个编码器和目标解码器，所述N1个编码器结构相同，所述N1个编码器中的第一个编码器用于接收图结构数据、对所述图结构数据进行特征提取和输出所述提取得到的特征向量，所述N1个编码器中的第i个编码器用于接收第i‑1个编码器输出的特征向量、对接收到的特征向量进行特征提取和输出提取得到的特征向量，所述目标解码器用于接收所述N1个编码器中第N1个编码器输出的特征向量、基于接收到的特征向量生成文本和输出生成的文本，N1为大于1的整数，i为整数且从2取至N1；对所述第一神经网络模型中的编码器的输入关系进行调整，得到第二神经网络模型，所述第二神经网络模型中的第L个编码器用于接收第L‑M个编码器输出的特征向量；使用训练数据对所述第二神经网络模型进行训练，获得第三神经网络模型；向目标设备发送所述第三神经网络模型。2.根据权利要求1所述的方法，其特征在于，所述目标设备为第二服务器。3.根据权利要求1所述的方法，其特征在于，所述目标设备为终端设备。4.根据权利要求1至3中任一项所述的方法，其特征在于，所述第L个编码器与所述第L‑M个编码器之间的M个编码器为随机选择的编码器。5.根据权利要求1至3中任一项所述的方法，其特征在于，所述方法还包括：获取所述N1个编码器中每个编码器的权重；将所述N1个编码器对应的N1个权重按照从小到大顺序排列后的前M个权重对应的编码器确定为所述第L个编码器与所述第L‑M个编码器之间的M个编码器。6.根据权利要求5所述的方法，其特征在于，所述方法还包括：获取第一结构化数据；使用预设算法对所述第一结构化数据进行处理，获得第一图结构数据，所述预设算法用于将结构化数据转换为图结构数据；将所述第一图结构数据以及所述第一结构化数据对应的目标文本信息确定为所述训练数据。7.一种文本生成方法，其特征在于，包括：获取待处理化图结构数据；使用目标神经网络模型基于所述待处理化图结构数据获得文本信息，所述目标神经网络模型为使用权利要求1至6中任一项所述的方法训练得到的神经网络模型。8.根据权利要求7所述的方法，其特征在于，所述方法还包括：接收第一服务器发送的所述目标神经网络模型。9.一种文本生成模型的训练装置，其特征在于，包括：获取模块，用于获取第一神经网络模型，所述第一神经网络模型包括N1个编码器和目标解码器，所述N1个编码器结构相同，所述N1个编码器中的第一个编码器用于接收图结构数据、对所述图结构数据进行特征提取和输出所述提取得到的特征向量，所述N1个编码器中的第i个编码器用于接收第i‑1个编码器输出的特征向量、对接收到的特征向量进行特征提取和输出提取得到的特征向量，所述目标解码器用于接收所述N1个编码器中第N1个编码器输出的特征向量、基于接收到的特征向量生成文本和输出生成的文本，N1为大于1的整2CN115018050A权利要求书2/2页数，i为整数且从2取至N1；处理模块，用于对所述第一神经网络模型中的编码器的输入关系进行调整，得到第二神经网络模型，所述第二神经网络模型中的第L个编码器用于接收第L‑M个编码器输出的特征向量；所述处理模块，还用于使用训练数据对所述第二神经网络模型进行训练，获得第三神经网络模型；所述处理模块，还用于向目标设备发送所述第三神经网络模型。10.一种文本生成模型的训练装置，其特征在于，包括处理器，该处理器用于从存储器调用计算机程序，当