数据到文本生成模型的训练方法和装置.pdf

(19)国家知识产权局(12)发明专利申请(10)申请公布号CN115017178A(43)申请公布日2022.09.06(21)申请号202210589921.0G06N3/08(2006.01)(22)申请日2022.05.26(71)申请人阿里巴巴（中国）有限公司地址311121浙江省杭州市余杭区五常街道文一西路969号3幢5层554室(72)发明人耿瑞莹石翔黎槟华孙健李永彬(74)专利代理机构北京同钧律师事务所16037专利代理师杜叶蕊许怀远(51)Int.Cl.G06F16/242(2019.01)G06F16/25(2019.01)G06F16/28(2019.01)G06K9/62(2022.01)G06N3/04(2006.01)权利要求书2页说明书13页附图4页(54)发明名称数据到文本生成模型的训练方法和装置(57)摘要本申请实施例提供了一种数据到文本生成模型的训练方法和装置。该训练方法包括：获取第一训练数据，第一训练数据包括第一结构化数据和第一结构化数据对应的目标文本；获取第一结构化数据输入第一预设神经网络模型之后第一预设神经网络模型输出的预测文本；获取预测文本与目标文本之间的第一损失值；获取预测结构化数据与第一结构化数据之间的第二损失值，根据第一损失值和第二损失值确定目标损失值；根据目标损失值调整第一预设神经网络模型的参数，获得目标神经网络模型；向目标设备发送目标神经网络模型。本申请提供的技术方案，可以升生成的文本与输入的结构化数据在语义上的忠实度。CN115017178ACN115017178A权利要求书1/2页1.一种数据到文本生成模型的训练方法，其特征在于，应用于第一服务器，包括：获取第一训练数据，所述第一训练数据包括第一结构化数据和所述第一结构化数据对应的目标文本；获取所述第一结构化数据输入第一预设神经网络模型之后所述第一预设神经网络模型输出的预测文本；获取所述预测文本与所述目标文本之间的第一损失值；获取预测结构化数据与所述第一结构化数据之间的第二损失值，所述预测结构化数据为基于预设转换算法将所述预测文本转换之后的结构化数据，所述预设转换算法用于将文本信息转换为结构化数据；根据所述第一损失值和所述第二损失值确定目标损失值；根据所述目标损失值调整所述第一预设神经网络模型的参数，获得目标神经网络模型；向目标设备发送所述目标神经网络模型。2.根据权利要求1所述的方法，其特征在于，所述目标设备为第二服务器。3.根据权利要求1所述的方法，其特征在于，所述目标设备为终端设备。4.根据权利要求1至3中任一项所述的方法，其特征在于，所述方法还包括：接收所述目标设备发送的所述第一预设神经网络模型。5.根据权利要求4所述的方法，其特征在于，所述第一训练数据中还包括所述第一结构化数据中的每个数据的目标顺序，所述目标顺序为所述目标文本中与所述每个数据对应的文本在所述目标文本中的排列顺序；相应地，所述方法还包括：获取所述第一结构化数据输入所述第一预设神经网络模型之后所述第一预设神经网络模型输出的所述第一结构化数据中的每个数据的预测顺序，所述预测顺序为所述预测文本中与所述每个数据对应的文本在所述预测文本中的排列顺序；根据所述预测顺序与所述目标顺序确定第三损失值；相应地，所述根据所述第一损失值和所述第二损失值确定目标损失值，包括：根据所述第一损失值、所述第二损失值和所述第三损失值确定目标损失值。6.根据权利要求5所述的方法，其特征在于，所述目标损失值等于所述第一损失值、所述第二损失值及所述第三损失值之和。7.根据权利要求6所述的方法，其特征在于，所述方法还包括：获取M1个第二结构化数据，所述M1个第二结构化数据包括以下至少两种类型的数据：表格数据、结构化数据查询SQL数据、逻辑数据，M1为大于1的正整数；对所述M1个第二结构化数据进行预处理，获得与所述M1个第二结构化数据一一对应的M1个第二训练数据，所述M1个第二训练数据中与第j个第二结构化数据对应的第二训练数据包括：所述第j个第二结构化数据和所述第j个第二结构化数据对应的目标文本，j为正整数且j从1取至M1；使用所述M1个第二训练数据训练第二预设神经网络模型，获得所述第一预设神经网络模型。8.根据权利要求7所述的方法，其特征在于，所述第二预设神经网络模型包括N1个编码2CN115017178A权利要求书2/2页器和N2个解码器，所述N1个编码器用于获取所述M1个结构化数据中每个结构化数据的特征向量，所述N2个解码器用于基于所述每个结构化数据的特征向量预测所述每个结构化数据对应的预测文本，N1和N2为大于1的正整数。9.一种数据到文本生成模型的训练装置，其特征在于，包括：获取模块，用于获取第一训练数据，所述第一训练数据包括第一结构化数据和所述第一结构化数据对应的目标文本；所