基于多轮会话的意图识别方法及装置.pdf

(19)中华人民共和国国家知识产权局(12)发明专利申请(10)申请公布号CN111813899A(43)申请公布日2020.10.23(21)申请号202010892094.3G06N3/08(2006.01)(22)申请日2020.08.31(71)申请人腾讯科技（深圳）有限公司地址518000广东省深圳市南山区高新区科技中一路腾讯大厦35层(72)发明人吴俊江雷植程童丽霞杨念民(74)专利代理机构北京康信知识产权代理有限责任公司11240代理人周婷婷(51)Int.Cl.G06F16/33(2019.01)G06F16/332(2019.01)G06F16/35(2019.01)G06K9/62(2006.01)G06N3/04(2006.01)权利要求书3页说明书14页附图4页(54)发明名称基于多轮会话的意图识别方法及装置(57)摘要本发明公开了一种基于多轮会话的意图识别方法及装置。其中，该方法包括：将M轮问题信息中的每轮问题信息的词向量转换为句向量，得到M个句向量；根据预先确定的标签矩阵对M个句向量进行注意力编码操作，得到第一会话向量；对M个句向量进行门控循环单元GRU编码，得到第二会话向量；根据预设的多个卷积核对M个句向量进行卷积操作，得到第三会话向量；根据第一会话向量、第二会话向量以及第三会话向量，确定多轮会话的意图信息。本发明解决了多轮问题的用户意图识别准确率低的技术问题。CN111813899ACN111813899A权利要求书1/3页1.一种基于多轮会话的意图识别方法，其特征在于，包括：将M轮问题信息中的每轮问题信息的词向量转换为句向量，得到M个句向量，其中，所述M轮问题信息为多轮会话中由用户帐号产生的问题信息，M为大于1的自然数；根据预先确定的标签矩阵对所述M个句向量进行注意力编码操作，得到第一会话向量，其中，所述第一会话向量用于表示所述M个句向量中的每个句向量的意图信息；对所述M个句向量进行门控循环单元GRU编码，得到第二会话向量，其中，所述第二会话向量用于表示所述多轮会话的全局会话信息；根据预设的多个卷积核对所述M个句向量进行卷积操作，得到第三会话向量，其中，所述第三会话向量用于表示所述多轮会话的局部会话信息；根据所述第一会话向量、所述第二会话向量以及所述第三会话向量，确定所述多轮会话的意图信息。2.根据权利要求1所述的方法，其特征在于，所述根据预先确定的标签矩阵对所述M个句向量进行注意力编码操作，得到第一会话向量，包括：对所述标签矩阵与所述M个句向量的乘积进行第一注意力编码操作，得到M个注意力取值；对所述M个注意力取值进行归一化操作，得到M个归一化取值；根据所述M个句向量与所述M个归一化取值，确定所述第一会话向量。3.根据权利要求2所述的方法，其特征在于，所述对所述标签矩阵与所述M个句向量的乘积进行第一注意力编码操作，得到M个注意力取值，包括：使用目标激活函数对所述标签矩阵与所述M个句向量的乘积执行目标激活操作，得到M个激活向量，其中，所述M个激活向量中的每个激活向量用于表示所述M个句向量中的一个句向量与所述标签矩阵中的每个标签的匹配概率，所述标签矩阵中的每个标签用于表示多个意图类别中的一个意图类别；对所述M个激活向量执行目标池化操作，得到所述M个注意力取值，其中，所述目标池化操作用于在所述M个激活向量中的每个激活向量中选取最大的匹配概率，所述M个注意力取值中的每个注意力取值为所述M个激活向量中对应的激活向量中最大的匹配概率。4.根据权利要求2所述的方法，其特征在于，所述根据所述M个句向量与所述M个归一化取值，确定所述第一会话向量，包括：将所述第一会话向量确定为：其中，表示所述第一会话向量，表示所述M个归一化取值中的第i个归一化取值，表示所述M个句向量中的第i个句向量。5.根据权利要求2所述的方法，其特征在于，所述对所述M个注意力取值进行归一化操作，得到M个归一化取值，包括：对所述M个注意力取值进行Softmax归一化操作，得到所述M个归一化取值，。2CN111813899A权利要求书2/3页6.根据权利要求1所述的方法，其特征在于，所述对所述M个句向量进行门控循环单元GRU编码，得到第二会话向量，其中，所述第二会话向量用于表示所述多轮会话的全局会话信息，包括：对所述M个句向量进行门控循环单元GRU编码，得到M个目标编码向量；将所述M个目标编码向量输入自注意self-attention层，通过所述self-attention层为所述M个句向量中的每个句向量分配权重，并将分配权重的M个句向量执行求和操作，得到所述第二会话向量。7.根据权利要求1所述的方法，其特征在于，所述根据预设的多个卷积核对所述M个句向量进行卷积操作，得到第三会话向量，包括：使用P个不同大小的卷积核分别对所述M个句向量执行卷积操作