语言转换模型的训练方法、转换方法、装置、设备和介质.pdf

(19)国家知识产权局(12)发明专利申请(10)申请公布号CN116028527A(43)申请公布日2023.04.28(21)申请号202310118374.2G06N3/045(2023.01)(22)申请日2023.01.30G06N3/08(2023.01)(71)申请人中国联合网络通信集团有限公司地址100033北京市西城区金融大街21号(72)发明人曹立江张蕊李明亮李瑞吴天昊万伟(74)专利代理机构北京天昊联合知识产权代理有限公司11112专利代理师彭瑞欣冯建基(51)Int.Cl.G06F16/2452(2019.01)G06F16/242(2019.01)G06F40/30(2020.01)G06N3/047(2023.01)G06N3/0442(2023.01)权利要求书3页说明书14页附图4页(54)发明名称语言转换模型的训练方法、转换方法、装置、设备和介质(57)摘要本发明公开了一种语言转换模型的训练方法、转换方法、装置、设备和介质，属于计算机技术领域，解决了由于模型结构复杂而导致的模型训练难度大的问题。该方法包括：将自然语言查询序列和语义匹配的关联表格中的列名信息拼接为长序列信息；基于长序列信息训练预先构建的语言转换模型，得到训练后的语言转换模型，语言转换模型用于确定自然语言序列和结构化查询语言序列的对应关系，结构化查询语言序列中包括选择子句和条件子句，在语言转换模型的模型训练过程中，第一解码器用于根据选择子句的特征确定选择子句的预测结果，第二解码器用于根据条件子句的特征得到条件子句的预测结果。该方法可以降低模型训练难度。CN116028527ACN116028527A权利要求书1/3页1.一种语言转换模型的训练方法，其特征在于，所述方法包括：将自然语言查询序列和用于进行语义匹配的关联表格中的列名信息拼接为长序列信息；基于所述长序列信息训练预先构建的语言转换模型，得到训练后的语言转换模型；其中，所述语言转换模型用于确定自然语言序列和结构化查询语言序列的对应关系，所述结构化查询语言序列中包括选择子句和条件子句，所述语言转换模型的网络结构包括第一解码器和第二解码器；在所述语言转换模型的模型训练过程中，所述第一解码器用于根据所述选择子句的特征确定选择子句的预测结果，所述第二解码器用于根据所述条件子句的特征得到条件子句的预测结果。2.根据权利要求1所述的方法，其特征在于，所述基于所述长序列信息训练预先构建的语言转换模型，得到训练后的语言转换模型，包括：提取所述长序列信息的特征，得到所述长序列信息的特征编码；利用所述第一解码器处理所述长序列信息的特征编码，得到选择子句的预测结果；利用所述第二解码器处理所述长序列信息的特征编码，得到条件子句的预测结果；根据所述选择子句的预测结果、所述选择子句的标注结果、所述条件子句的预测结果和所述条件子句的标注结果，构建损失函数；利用所述损失函数，调整所述语言转换模型的模型参数，以利用所述调整后的模型参数，得到所述训练后的语言转换模型。3.根据权利要求2所述的方法，其特征在于，所述选择子句包括选择列名子句和选择聚合函数子句；所述利用所述第一解码器处理所述长序列信息的特征编码，得到选择子句的预测结果，包括：将所述长序列信息的特征编码输入所述第一解码器进行处理，得到与所述选择子句对应的第一自然语言查询特征向量和第一列名特征向量；通过预设的第一全连接层处理所述第一自然语言查询特征向量和所述第一列名特征向量，得到所述选择列名子句的预测结果，所述第一全连接层用于确定所述选择列名子句的预测结果与所述第一自然语言查询特征向量和所述第一列名特征向量的对应关系；通过预设的第二全连接层处理所述第一自然语言查询特征向量和所述第一列名特征向量，得到所述选择聚合函数子句的预测结果，所述第二全连接层用于确定所述选择聚合函数子句的预测结果与所述第一自然语言查询特征向量和所述第一列名特征向量的对应关系；将所述选择列名子句的预测结果和所述选择聚合函数子句的预测结果，作为所述选择子句的预测结果。4.根据权利要求2所述的方法，其特征在于，所述条件子句包括条件个数、每个条件选择的列名、操作符和操作符对应取值；所述利用所述第二解码器处理所述长序列信息的特征编码，得到条件子句的预测结果，包括：将所述长序列信息的特征编码输入所述第二解码器进行处理，得到与所述条件子句对应的第二自然语言查询特征向量和第二列名特征向量；通过预设的第三全连接层处理所述第二自然语言查询特征向量，得到所述条件个数的2CN116028527A权利要求书2/3页预测结果，所述第三全连接层用于确定所述条件个数的预测结果与所述第二自然语言查询特征向量的对应关系；通过预设的第四全连接层处理所述第二自然语言查询特征向量和所述第二列名特征向量，得到所述每个条件选择的