语言转换模型训练、语言转换方法、装置、设备及介质.pdf

(19)中华人民共和国国家知识产权局(12)发明专利申请(10)申请公布号CN113609157A(43)申请公布日2021.11.05(21)申请号202110908451.5G06N3/08(2006.01)(22)申请日2021.08.09(71)申请人平安科技（深圳）有限公司地址518031广东省深圳市福田区福田街道福安社区益田路5033号平安金融中心23楼(72)发明人赵亮(74)专利代理机构北京品源专利代理有限公司11332代理人李礼(51)Int.Cl.G06F16/2452(2019.01)G06F40/253(2020.01)G06F40/55(2020.01)G06N3/04(2006.01)权利要求书3页说明书15页附图4页(54)发明名称语言转换模型训练、语言转换方法、装置、设备及介质(57)摘要本发明实施例公开了一种语言转换模型训练、语言转换方法、装置、设备及介质，语言转换模型训练方法包括：获取所述编码模块输出的编码向量；将所述编码向量转换为不包括语义信息的零向量；将所述零向量作为译码模块预训练数据输入至所述译码模块；根据所述零向量将所述译码模块的原始语法树预训练更新至目标语法树。本发明实施例的技术方案能够提高语言转换模型的稳定性、训练效率和模型准确率，从而提高自然语言转换任务处理的准确率。CN113609157ACN113609157A权利要求书1/3页1.一种语言转换模型训练方法，其特征在于，所述语言转换模型包括编码模块和译码模块；所述语言转换模型训练方法包括：获取所述编码模块输出的编码向量；将所述编码向量转换为不包括语义信息的零向量；将所述零向量作为译码模块预训练数据输入至所述译码模块；根据所述零向量将所述译码模块的原始语法树预训练更新至目标语法树。2.根据权利要求1所述的语言转换模型训练方法，其特征在于，所述根据所述零向量将所述译码模块的原始语法树预训练更新至目标语法树，包括：将所述零向量作为初始预训练数据输入至所述译码模块，得到所述译码模块的输出结果；根据所述译码模块的输出结果确定循环预训练数据；将循环预训练数据输入至所述译码模块，再次得到所述译码模块的输出结果；返回执行根据所述译码模块的输出结果确定循环预训练数据的操作，直至确定所述译码模块的原始语法树更新至所述目标语法树。3.根据权利要求2所述的语言转换模型训练方法，其特征在于，所述根据所述译码模块的输出结果确定循环预训练数据，包括：将所述译码模块的输出结果作为所述循环预训练数据；或将所述译码模块的输出结果和零向量的拼接数据作为所述循环预训练数据。4.根据权利要求1所述的语言转换模型训练方法，其特征在于，所述零向量基于如下公式表示：其中，Pr(P)表示生成目标语言的概率，at表示t时刻的解码结果，Pr(at|a<t,0)表示在与语义无关的前提下，根据t前几个时刻的结果，预测出at的概率，a<t表示小于t时刻的所有解码结果。5.根据权利要求1所述的语言转换模型训练方法，其特征在于，在所述获取所述编码模块输出的编码向量之前，还包括：确定目标预训练模型；通过所述目标预训练模型对所述编码模块进行预训练。6.根据权利要求1‑5任一所述的语言转换模型训练方法，其特征在于，在所述译码模块预训练完成之后，还包括：获取原始训练样本数据；根据所述原始训练样本数据构建所述编码模块的目标训练样本数据；将所述目标训练样本数据输入至所述编码模块，以对所述语言转换模型进行正式训练。7.根据权利要求6所述的语言转换模型训练方法，其特征在于，所述语言转换模型为RATSQL模型；所述原始训练样本数据包括用户问题和数据库数据；所述数据库数据包括表名、列名以及列名枚举值；2CN113609157A权利要求书2/3页所述根据所述原始训练样本数据构建所述编码模块的目标训练样本数据，包括：按照所述用户问题、所述列名和所述表名的顺序构建原始编码数据；将所述列名枚举值插入至所述原始编码数据中对应的列名后，得到所述目标训练样本数据；或按照所述用户问题、所述列名、所述列名枚举值和所述表名的顺序构建所述目标训练样本数据。8.根据权利要求7所述的语言转换模型训练方法，其特征在于，所述原始编码数据基于如下表达式表示：S＝<s>,Q,</s>,C1,</s>,C2,</s>,…,T1,</s>,T2,</s>…Tk,</s>其中，Q＝q1,q2,…,qk，表示机器识别的用户问题，表示机器识别的列名，表示机器识别的表名；<s>和</s>表示间隔符号；所述目标训练样本数据基于如下表达式表示：S＝<s>,Q,</s>,C1,V1,</s>,C2,V2,</s>,…,Cn,Vn,</s>,T1,</s>,T2,</s>…Tk,</s>其中，表示列名Cn中与用户问题匹配的列名枚举值。9.根据权利要求6所述的语