模型训练、自然语言处理方法、装置、设备及存储介质.pdf

(19)国家知识产权局(12)发明专利申请(10)申请公布号CN115905282A(43)申请公布日2023.04.04(21)申请号202211377112.X(22)申请日2022.11.04(71)申请人阿里巴巴达摩院（杭州）科技有限公司地址310023浙江省杭州市余杭区五常街道文一西路969号3幢5层516室(72)发明人曹荣禹高畅石翔耿瑞莹黎槟华黄非李永彬(74)专利代理机构北京开阳星知识产权代理有限公司11710专利代理师张子青(51)Int.Cl.G06F16/242(2019.01)G06F16/33(2019.01)G06N20/00(2019.01)权利要求书2页说明书13页附图4页(54)发明名称模型训练、自然语言处理方法、装置、设备及存储介质(57)摘要本公开涉及一种模型训练、自然语言处理方法、装置、设备及存储介质。本公开将自然语言转化成SQL查询语句的过程拆分为多个子任务，通过多个子任务得到的子句对机器学习模型进行训练，使得机器学习模型对各个子任务进行学习。然后将多个子任务分别对应的任务提示词、自然语言语句、以及数据库模式输入机器学习模型，使得机器学习模型输出自然语言语句对应的结构化查询语句。从而根据结构化查询语句和自然语言语句对应的标准结构化查询语句，对机器学习模型进行再次训练，使得机器学习模型对主任务进行学习。通过这种任务拆解和组合学习的方式，使得训练后的机器学习模型可以生成精准的SQL查询语句，并提升了机器学习模型的泛化能力和鲁棒性。CN115905282ACN115905282A权利要求书1/2页1.一种模型训练方法，其中，所述方法包括：获取自然语言语句；根据预设的多个子任务，生成多个第一序列，每个第一序列包括一个子任务对应的任务提示词、所述自然语言语句、以及所述自然语言语句对应的数据库模式；将所述多个第一序列输入待训练的机器学习模型，使得所述机器学习模型生成多个第二序列，所述多个第一序列和所述多个第二序列一一对应，所述第二序列包括一个或多个查询关键词、以及所述一个或多个查询关键词分别对应的查询内容，所述查询内容是根据所述自然语言语句和所述数据库模式生成的；根据所述多个第二序列、以及每个第二序列中的查询关键词对应的标准查询内容，对所述机器学习模型进行训练；将所述多个子任务分别对应的任务提示词、所述自然语言语句、以及所述数据库模式输入所述机器学习模型，使得所述机器学习模型输出所述自然语言语句对应的结构化查询语句；根据所述结构化查询语句和所述自然语言语句对应的标准结构化查询语句，对所述机器学习模型进行再次训练。2.根据权利要求1所述的方法，其中，所述机器学习模型生成多个第二序列，包括：所述机器学习模型针对每个第一序列，生成所述第一序列对应的多个字符；所述机器学习模型基于所述多个字符中不同字符之间的关系特征，生成所述第一序列对应的第二序列。3.根据权利要求2所述的方法，其中，生成所述第一序列对应的多个字符，包括：将所述第一序列中的任务提示词包括的一个或多个查询关键词分别转换为预设字符；将所述第一序列中的所述自然语言语句和所述数据库模式分别拆分为一个或多个字符，所述预设字符和所述一个或多个字符构成所述第一序列对应的多个字符。4.根据权利要求3所述的方法，其中，基于所述多个字符中不同字符之间的关系特征，生成所述第一序列对应的第二序列，包括：基于所述多个字符中不同字符之间的关系特征，生成包含预设字符和查询内容的输出序列；将所述输出序列中的预设字符转换为所述预设字符对应的查询关键词，得到所述第一序列对应的第二序列。5.根据权利要求1所述的方法，其中，所述自然语言语句对应的数据库模式包括所述自然语言语句对应的数据库所包括的一个或多个表格分别的标识、以及所述一个或多个表格中每个表格包括的列名称。6.根据权利要求1所述的方法，其中，获取自然语言语句之后，所述方法还包括：获取所述自然语言语句对应的标准结构化查询语句，所述标准结构化查询语句包括多个查询关键词分别对应的标准查询内容。7.一种自然语言处理方法，其中，所述方法包括：获取自然语言语句；将预设的多个子任务分别对应的任务提示词、所述自然语言语句和所述自然语言语句对应的数据库模式输入到训练完成的机器学习模型中，使得所述机器学习模型输出所述自2CN115905282A权利要求书2/2页然语言语句对应的结构化查询语句，所述机器学习模型是采用如权利要求1‑6中任一项所述的方法训练得到的。8.一种模型训练装置，其中，所述装置包括：获取模块，用于获取自然语言语句；生成模块，用于根据预设的多个子任务，生成多个第一序列，每个第一序列包括一个子任务对应的任务提示词、所述自然语言语句、以及所述自然语言语句对应的数据库模式；输入模块，用于将所述多个第一序列输入待训练的机器学习模型，