多轮状态追踪的方法、系统及终端设备.pdf

(19)中华人民共和国国家知识产权局(12)发明专利申请(10)申请公布号CN107832439A(43)申请公布日2018.03.23(21)申请号201711139798.8(22)申请日2017.11.16(71)申请人百度在线网络技术（北京）有限公司地址100085北京市海淀区上地十街10号百度大厦三层(72)发明人陆广鞠强罗夏君(74)专利代理机构北京市铸成律师事务所11313代理人张臻贤武晨燕(51)Int.Cl.G06F17/30(2006.01)G06N99/00(2010.01)权利要求书4页说明书11页附图2页(54)发明名称多轮状态追踪的方法、系统及终端设备(57)摘要本发明提出一种多轮状态追踪的方法、系统及终端设备。所述方法包括抽取用户输入多次的查询数据；判断用户输入的查询数据是否具有多轮特征；分析计算用户输入查询数据时的当前意图，并判断所述当前意图是否为多轮意图；基于多轮意图，结合多次用户输入的查询数据，生成多轮候选状态；对多轮候选状态进行排序，得到最优的多轮状态并输出。根据本发明的多轮状态追踪的方法，使得机器可以通过对上下文理解，在一个连续的多轮对话状态下，理解用户的意图，提高用户使用的积极性。CN107832439ACN107832439A权利要求书1/4页1.一种多轮状态追踪的方法，其特征在于，包括：抽取用户输入多次的查询数据；判断用户输入的查询数据是否具有多轮特征，所述多轮特征用于表示用户输入的多次查询数据之间存在某种关联性；分析计算用户输入查询数据时的当前意图，并判断所述当前意图是否为多轮意图，所述多轮意图用于表示用户输入的多次查询意图之间存在某种关联性；基于多轮意图，结合多次用户输入的查询数据，生成多轮候选状态，所述多轮候选状态用于表示用户输入的查询数据相互组合后所形成的状态；对多轮候选状态进行排序，得到最优的多轮状态并输出。2.根据权利要求1所述的方法，其特征在于，其中，判断用户输入的查询数据是否具有多轮特征，具体包括：通过资源、需求和先验分布做平滑，计算出各数据基于bi-gram的语言模型，并根据所述语言模型判断用户输入的查询数据是否具有多轮特征。3.根据权利要求1所述的方法，其特征在于，其中，分析计算用户输入查询数据时的当前意图，并判断所述当前意图是否为多轮意图，具体包括：基于结构化分析模型和深度学习模型分析计算当前意图的概率；当经结构化分析模型或深度学习模型之一所计算得出的当前意图的概率高于其所设定的阈值时，判断当前意图为多轮意图。4.根据权利要求3所述的方法，其特征在于，所述深度学习模型为LSTM模型，使用LSTM模型进行分类式训练，得到当前意图的概率分布；所述结构化分析模型通过上轮对话的意图内，结构化分析的正向term权重占比，来得到当前意图的概率，当前意图的概率计算公式为：其中，其中φ为结构化特征集合，w为term重要性分析结果，λ为正负特征加权，domain为上轮对话的意图，x为当前查询的term集合。5.根据权利要求1所述的方法，其特征在于，对生成的多轮候选状态进行剪枝操作，从多个多轮候选状态中保留优质的多轮候选状态；对经剪枝后保留的多轮候选状态进行排序，得到最优的多轮状态并输出。6.根据权利要求5所述的方法，其特征在于，所述剪枝操作基于以下假设进行：当前查询只与时间上最接近的一次查询相关；多轮候选状态包括当前查询中新增的语义数据；多轮候选状态包括当前查询中出现的指代语义和该指代语义的对应数据。7.根据权利要求1所述的方法，其特征在于，对多轮候选状态进行排序，具体包括，基于生成式模型和判别式模型，计算各个多轮候选状态的发生概率，并根据发生概率进行排序。8.根据权利要求7所述的方法，其特征在于，所述判别式模型为GBDT模型，使用GBDT模型进行判别式训练，得到多轮候选状态的发生概率；所述生成式模型依据概率计算公式来计算多轮候选状态的发生概率，具体的概率计算2CN107832439A权利要求书2/4页公式如下：P(candidaten)＝η·P(slotsn|ot+1，ht+1，at)在上述公式中，假设数据之间相互独立，则得到以下计算公式：P(candidaten)＝η·Πi＝0P(sloti|ot+1，ht+1，at)＝θ·Πi＝0P(sloti|ot+1)·P(sloti|ht+1)·P(sloti|at)其中，η，θ为正规化常量；slot为槽位，即某意图下的关键检索片段；a为执行操作，h为历史状态记录，o为对用户输入的观察值；并且P(sloti|ot+1)＝P(sloti|slotst+1)·P(sloti|termst+1)·rule(syntacticalfeature)P(sloti|ht+1)＝function(sessionnum，sessiontime)P(