多轮对话方法和装置.pdf

(19)中华人民共和国国家知识产权局(12)发明专利申请(10)申请公布号CN111177359A(43)申请公布日2020.05.19(21)申请号202010276697.0(22)申请日2020.04.10(71)申请人支付宝（杭州）信息技术有限公司地址310000浙江省杭州市西湖区西溪路556号8层B段801-11(72)发明人刘佳王子豪杨明晖崔恒斌(74)专利代理机构北京亿腾知识产权代理事务所(普通合伙)11309代理人孙欣欣周良玉(51)Int.Cl.G06F16/332(2019.01)G06F16/335(2019.01)G06F16/35(2019.01)权利要求书3页说明书7页附图5页(54)发明名称多轮对话方法和装置(57)摘要本说明书实施例提供一种多轮对话方法和装置，方法包括：在机器和用户的多轮对话过程中，获取用户当前输入的当前用户文本和对话前文；至少把当前用户文本输入检索模型，通过检索模型输出M条候选回复；检索模型从历史人工问答记录中，检索并输出与当前用户文本匹配的M条人工答复作为M条候选回复；把当前用户文本和对话前文输入预先训练的生成模型，通过生成模型生成N条候选回复；将M和N条候选回复分别输入预先训练的分类打分模型，通过分类打分模型分别输出各条候选回复对应的与当前用户文本的匹配得分；选择最高匹配得分对应的候选回复输出给用户，以作为当前用户文本的实际回复。能够实现机器与人进行多轮对话，并准确地解答用户问题。CN111177359ACN111177359A权利要求书1/3页1.一种多轮对话方法，所述方法包括：在机器和用户的多轮对话过程中，获取用户当前输入的当前用户文本和所述当前用户文本的对话前文；至少把所述当前用户文本输入检索模型，通过所述检索模型输出所述当前用户文本对应的M条候选回复；所述检索模型从历史人工问答记录中，检索并输出与所述当前用户文本匹配的M条人工答复作为M条候选回复；把所述当前用户文本和所述对话前文输入预先训练的生成模型，通过所述生成模型生成所述当前用户文本对应的N条候选回复；将所述M和N条候选回复分别输入预先训练的分类打分模型，通过所述分类打分模型分别输出各条候选回复对应的与所述当前用户文本的匹配得分；选择最高匹配得分对应的候选回复输出给用户，以作为所述当前用户文本的实际回复。2.如权利要求1所述的方法，其中，所述对话前文包括：用户之前各轮对话输入的前文用户文本，以及机器针对该前文用户文本的前文回复。3.如权利要求1所述的方法，其中，所述历史人工问答记录包括多个问答对，所述问答对包括用户问题和该用户问题对应的人工回复作为答案；所述检索模型从历史人工问答记录中，检索并输出与所述当前用户文本匹配的M条人工答复作为M条候选回复，包括：所述检索模型从多个问答对对应包含的多个用户问题中确定出所述当前用户文本匹配的若干用户问题，将所述若干用户问题对应的答案作为所述当前用户文本的候选回复。4.如权利要求1所述的方法，其中，所述至少把所述当前用户文本输入检索模型，包括：将所述对话前文中用户各轮输入的前文用户文本分别输入预先训练的业务闲聊分类模型，通过所述业务闲聊分类模型输出各轮输入的前文用户文本为业务问题还是闲聊；将所述对话前文中的预定数目的业务问题以及所述当前用户文本输入所述检索模型。5.如权利要求1所述的方法，其中，所述生成模型为基于长短期记忆LSTM网络实现的序列到序列seq2seq模型。6.如权利要求1所述的方法，其中，所述生成模型基于改进的基于转换器的双向编码器表征BERT模型实现，改进的BERT模型通过以下方式训练：基于所述历史人工问答记录进行字遮蔽训练，在字遮蔽训练中每个待生成的字只能基于其前面的字生成预测结果。7.如权利要求1所述的方法，其中，所述分类打分模型基于利用所述历史人工问答记录得到的训练样本进行训练。8.如权利要求7所述的方法，其中，所述训练样本通过以下方式得到：利用所述历史人工问答记录中各轮的用户问题和该轮的人工回复，得到与对话轮数相同数目的正样本；利用所述历史人工问答记录中各轮的用户问题和随机选择的任一轮的人工回复，得到与对话轮数相同数目的负样本。9.一种多轮对话装置，所述装置包括：获取单元，用于在机器和用户的多轮对话过程中，获取用户当前输入的当前用户文本2CN111177359A权利要求书2/3页和所述当前用户文本的对话前文；检索单元，用于至少把所述获取单元获取的当前用户文本输入检索模型，通过所述检索模型输出所述当前用户文本对应的M条候选回复；所述检索模型从历史人工问答记录中，检索并输出与所述当前用户文本匹配的M条人工答复作为M条候选回复；生成单元，用于把所述获取单元获取的所述当前用户文本和所述对话前文输入预先训练的生成模型，通过所述生成模型生成所述当前用户文本对应的