针对多轮对话的分类方法和装置.pdf

(19)中华人民共和国国家知识产权局(12)发明专利申请(10)申请公布号CN110543554A(43)申请公布日2019.12.06(21)申请号201910738939.0(22)申请日2019.08.12(71)申请人阿里巴巴集团控股有限公司地址英属开曼群岛大开曼资本大厦一座四层847号邮箱(72)发明人王雅芳龙翀张晓彤张杰(74)专利代理机构北京亿腾知识产权代理事务所(普通合伙)11309代理人孙欣欣周良玉(51)Int.Cl.G06F16/332(2019.01)G06F16/35(2019.01)G06N3/08(2006.01)G06N3/04(2006.01)权利要求书3页说明书9页附图3页(54)发明名称针对多轮对话的分类方法和装置(57)摘要本说明书实施例提供一种针对多轮对话的分类方法和装置。方法包括：获取目标用户与机器人之间进行的多轮对话；将所述多轮对话中各轮对话的用户问句分别输入第一特征提取模型，通过所述第一特征提取模型分别输出所述各轮对话分别对应的第一特征向量；根据所述各轮对话的顺序，对所述各轮对话之前的对话对应的第一特征向量采用自注意力机制，生成所述各轮对话分别对应的第二特征向量；将所述目标用户的预设历史行为的行为特征输入第二特征提取模型，通过所述第二特征提取模型输出第三特征向量；至少根据所述各轮对话分别对应的第二特征向量和所述第三特征向量，确定所述多轮对话的类别。能够保证针对多轮对话的分类的效果。CN110543554ACN110543554A权利要求书1/3页1.一种针对多轮对话的分类方法，所述方法包括：获取目标用户与机器人之间进行的多轮对话；将所述多轮对话中各轮对话的用户问句分别输入第一特征提取模型，通过所述第一特征提取模型分别输出所述各轮对话分别对应的第一特征向量；根据所述各轮对话的顺序，对所述各轮对话之前的对话对应的第一特征向量采用自注意力机制，生成所述各轮对话分别对应的第二特征向量；将所述目标用户的预设历史行为的行为特征输入第二特征提取模型，通过所述第二特征提取模型输出第三特征向量；至少根据所述各轮对话分别对应的第二特征向量和所述第三特征向量，确定所述多轮对话的类别。2.如权利要求1所述的方法，其中，所述方法还包括：将用于指示所述目标用户的行为轨迹的序列数据输入第三特征提取模型，通过所述第三特征提取模型输出第四特征向量；所述至少根据所述各轮对话分别对应的第二特征向量和所述第三特征向量，确定所述多轮对话的类别，包括：根据所述各轮对话分别对应的第二特征向量、所述第三特征向量和所述第四特征向量，确定所述多轮对话的类别。3.如权利要求1所述的方法，其中，所述第一特征提取模型包括双向门控循环单元GRU；其中，所述双向GRU分别获取用户问句的前向词序列输入和反向词序列输入，得到所述各轮对话的用户问句中最后一个分词对应的前向隐层向量和反向隐层向量，对所述前向隐层向量和所述反向隐层向量进行加权求和，得到所述各轮对话分别对应的第一特征向量。4.如权利要求1所述的方法，其中，所述生成所述各轮对话分别对应的第二特征向量，包括：对于所述各轮对话中的目标对话，根据所述各轮对话的顺序，确定所述目标对话和所述目标对话之前的对话相对于所述目标对话的各注意力得分；根据所述各注意力得分，对所述目标对话和所述目标对话之前的对话对应的第一特征向量进行加权求和，生成所述目标对话对应的第二特征向量。5.如权利要求1所述的方法，其中，所述将所述目标用户的预设历史行为的行为特征输入第二特征提取模型，通过所述第二特征提取模型输出第三特征向量，包括：针对所述目标用户的预设历史行为的行为特征中属于离散型的第一行为特征，对所述第一行为特征进行one-hot编码，得到第一类编码；针对所述目标用户的预设历史行为的行为特征中属于连续型的第二行为特征，对所述第二行为特征进行归一化处理，得到第二类编码；将所述第一类编码和所述第二类编码串接后输入所述第二特征提取模型，通过所述第二特征提取模型输出所述第三特征向量。6.如权利要求1所述的方法，其中，所述第二特征提取模型包括：深度神经网络DNN，所述DNN用于对所述目标用户的预设历史行为的行为特征进行特征提取，得到所述第三特征向量。7.如权利要求2所述的方法，其中，所述将用于指示所述目标用户的行为轨迹的序列数2CN110543554A权利要求书2/3页据输入第三特征提取模型，通过所述第三特征提取模型输出第四特征向量，包括：通过初始化的转换矩阵，确定所述行为轨迹中各行为分别对应的各初始嵌入向量；将所述各初始嵌入向量，按照所述各行为在所述行为轨迹中的顺序输入所述第三特征提取模型，通过所述第三特征提取模型得到最后一个输入的行为对应的隐状态向量，作为所述第四特征向量。8.如权利要求2所述的方法，其中，所述第三特征提