一种对话的方法和系统.pdf

(19)中华人民共和国国家知识产权局(12)发明专利申请(10)申请公布号CN111160514A(43)申请公布日2020.05.15(21)申请号202010251489.5(22)申请日2020.04.01(71)申请人支付宝（杭州）信息技术有限公司地址310000浙江省杭州市西湖区西溪路556号8层B段801-11(72)发明人王子豪崔恒斌刘佳(74)专利代理机构成都七星天知识产权代理有限公司51253代理人袁春晓(51)Int.Cl.G06N3/00(2006.01)权利要求书3页说明书14页附图5页(54)发明名称一种对话的方法和系统(57)摘要本说明书实施例公开了一种对话的方法和系统。所述对话的方法包括：获取对话上文；所述对话上文至少包括一句用户话语；基于所述对话上文确定对话当前状态；基于对话模型获取在所述对话当前状态基础上，一个或多个候选话术的收益分值；其中，所述对话模型为强化学习模型；基于收益分值从所述一个或多个候选话术中确定响应所述对话上文的目标话术。CN111160514ACN111160514A权利要求书1/3页1.一种对话的方法，包括：获取对话上文；所述对话上文至少包括一句用户话语；基于所述对话上文确定对话当前状态；基于对话模型获取在所述对话当前状态基础上，一个或多个候选话术的收益分值；其中，所述对话模型为强化学习模型；基于收益分值从所述一个或多个候选话术中确定响应所述对话上文的目标话术。2.如权利要求1所述的方法，所述收益分值正相关于相应的候选话术使得业务目标实现的概率。3.如权利要求1所述的方法，所述对话模型通过以下方式获得：获取多轮历史对话；从所述多轮历史对话中提取多组训练数据，所述多组训练数据中的一组至少包括：样本对话当前状态、响应话术、样本对话下一状态和与所述响应话术对应的奖励值；基于多组所述训练数据迭代更新强化学习模型的参数，使得训练得到的对话模型能够基于任一对话当前状态确定候选话术的收益分值。4.如权利要求3所述的方法，与所述响应话术对应的奖励值反映以下一种或多种信息：响应话术与样本对话当前状态的相关度、业务目标的实现概率、回应于响应话术的历史用户话语的情绪分值、回应于响应话术的历史用户话语的意图类别、以及与所述响应话术相关的对话参与度。5.一种对话的系统，包括：对话数据获取模块，用于获取对话上文；所述对话上文至少包括一句用户话语；对话当前状态确定模块，用于基于所述对话上文确定对话当前状态；收益分值确定模块，用于基于对话模型获取在所述对话当前状态基础上，一个或多个候选话术的收益分值；其中，所述对话模型为强化学习模型；目标话术确定模块，用于基于收益分值从所述一个或多个候选话术中确定响应所述对话上文的目标话术。6.如权利要求5所述的系统，所述收益分值正相关于相应的候选话术使得业务目标实现的概率。7.如权利要求5所述的系统，所述系统还包括训练模块，所述训练模块包括：对话数据获取单元，用于获取多轮历史对话；训练数据提取单元，用于从所述多轮历史对话中提取多组训练数据，所述多组训练数据中的一组至少包括：样本对话当前状态、响应话术、样本对话下一状态和与所述响应话术对应的奖励值；模型参数更新单元，用于基于多组所述训练数据迭代更新强化学习模型的参数，使得训练得到的对话模型能够基于任一对话当前状态确定候选话术的收益分值。8.如权利要求7所述的系统，与所述响应话术对应的奖励值反映以下一种或多种信息：响应话术与样本对话当前状态的相关度、业务目标的实现概率、回应于响应话术的历史用户话语的情绪分值、回应于响应话术的历史用户话语的意图类别、以及与所述响应话术相关的对话参与度。9.一种对话的装置，包括至少一个存储介质和至少一个处理器，所述至少一个存储介2CN111160514A权利要求书2/3页质用于存储计算机指令；所述至少一个处理器用于执行所述计算机指令以实现如权利要求1~4任一项所述方法。10.一种训练对话模型的方法，包括：获取多轮历史对话；从所述多轮历史对话中提取多组训练数据，所述多组训练数据中的一组至少包括样本对话当前状态、响应话术、样本对话下一状态和与所述响应话术对应的奖励值；基于多组所述训练数据迭代更新强化学习模型的参数，使得训练得到的对话模型能够基于任一对话当前状态确定候选话术的收益分值。11.如权利要求10所述的方法，所述多组训练数据中的一组还包括：对话结束标识，用以标识对应的训练数据是否为所属一轮历史对话中的最后一次对话。12.如权利要求10所述的方法，与所述响应话术对应的奖励值反映以下一种或多种信息：响应话术与样本对话当前状态的相关度、业务目标的实现概率、回应于响应话术的历史用户话语的情绪分值、回应于响应话术的历史用户话语的意图类别、以及与所述响应话术相关的对话参与度。13.如权利要求12所述的方法