模型训练方法、意图识别方法、装置和电子设备.pdf

(19)中华人民共和国国家知识产权局(12)发明专利申请(10)申请公布号CN114330364A(43)申请公布日2022.04.12(21)申请号202111614262.3(22)申请日2021.12.27(71)申请人北京百度网讯科技有限公司地址100085北京市海淀区上地十街10号百度大厦2层(72)发明人吕洪亚谭云飞刘晓庆(74)专利代理机构北京银龙知识产权代理有限公司11243代理人张圣孝(51)Int.Cl.G06F40/30(2020.01)G06F40/216(2020.01)G06N3/04(2006.01)G06N3/08(2006.01)权利要求书5页说明书16页附图3页(54)发明名称模型训练方法、意图识别方法、装置和电子设备(57)摘要本公开提供了一种模型训练方法、意图识别方法、装置和电子设备，涉及人工智能领域，尤其涉及智能搜索领域。具体实现方案为：模型训练方法，包括：获取第一样本，所述第一样本包括第一文本、第一标签、第二标签和第三标签，所述第一标签用于表征所述第一文本为第一意图的概率，所述第二标签用于表征所述第一文本为第二意图的概率，所述第三标签用于表征所述第一文本为第三意图的概率，所述第一意图和所述第二意图属于所述第三意图中的子意图；将所述第一样本输入第一模型进行训练，得到训练后的目标模型。本公开可以提高训练得到的目标模型对意图识别的效果。CN114330364ACN114330364A权利要求书1/5页1.一种模型训练方法，包括：获取第一样本，所述第一样本包括第一文本、第一标签、第二标签和第三标签，所述第一标签用于表征所述第一文本为第一意图的概率，所述第二标签用于表征所述第一文本为第二意图的概率，所述第三标签用于表征所述第一文本为第三意图的概率，所述第一意图和所述第二意图属于所述第三意图中的子意图；将所述第一样本输入第一模型进行训练，得到训练后的目标模型；其中，所述目标模型包括第一子模型和第二子模型，所述第一子模型用于对所述第一文本进行识别，并输出所述第一文本为所述第一意图的概率；所述第二子模型用于对所述第一文本进行识别，并输出所述第一文本为所述第二意图的概率；所述目标模型用于计算所述第一子模型输出的概率和所述第二子模型输出的概率之和，得到所述第一文本为所述第三意图的概率。2.根据权利要求1所述的方法，其中，所述将所述第一样本输入第一模型进行训练，得到训练后的目标模型之前，所述方法还包括：获取第二样本，所述第二样本包括第二文本和第四标签，所述第四标签用于表征所述第二文本为所述第二意图的概率；将所述第二样本输入预先构建的初始模型进行训练，得到训练后的所述第一模型，所述初始模型包括所述第一子模型和所述第二子模型。3.根据权利要求2所述的方法，其中，所述将所述第二样本输入预先构建的初始模型进行训练，包括：基于预先构建的第一损失函数利用所述第二子模型的输出和所述第四标签，对所述第二子模型的参数进行优化。4.根据权利要求1所述的方法，其中，所述将所述第一样本输入第一模型进行训练，得到训练后的目标模型，包括：将所述第一样本输入第一模型进行训练，得到训练后的第二模型；获取第三样本，所述第三样本包括第三文本、第五标签和第六标签，所述第五标签用于表征所述第三文本为所述第一意图的概率，所述第六标签用于表征所述第三文本为所述第三意图的概率；将所述第三样本输入所述第二模型进行训练，得到训练后的目标模型。5.根据权利要求4所述的方法，其中，所述将所述第三样本输入所述第二模型进行训练，包括：基于预先构建的第二损失函数利用所述第一子模型的输出、所述第二模型的输出、所述第五标签和所述第六标签，对所述第二模型的参数进行优化。6.根据权利要求1所述的方法，其中，所述第一模型还包括第三子模型，所述第一子模型和所述第二子模型分别包括n+1个节点，所述第三子模型包括n个节点，所述n为大于1的整数；所述第一子模型的第1个节点用于在所述第一文本中，提取与所述第一意图对应的语义特征，并输出第1个第一语义向量，所述第二子模块的第1个节点用于在所述第一文本中，提取与所述第二意图对应的语义特征，并输出第1个第二语义向量，所述第三子模型的第1个节点用于提取所述第1个第一语义向量和所述第1个第二语义向量的公共语义向量，并输2CN114330364A权利要求书2/5页出第1个公共语义向量；所述第一子模型的第i个节点用于根据所述第一子模型的第i‑1节点输出的第一语义向量和所述第三子模型的第i‑1个节点输出的公共语义向量，计算得到第i个第一语义向量；所述第二子模型的第i节点用于根据所述第二子模型的第i‑1节点输出的第第二语义向量和所述第三子模型的第i‑1个节点输出的公共语义向量，计算得到第i个第二语义向量；所述第三子模型的第i个节点用于提取所述第i个第一