对话方法、装置、电子设备及可读存储介质.pdf

(19)中华人民共和国国家知识产权局(12)发明专利申请(10)申请公布号CN111753076A(43)申请公布日2020.10.09(21)申请号202010808251.8(22)申请日2020.08.12(71)申请人腾讯科技（深圳）有限公司地址518000广东省深圳市南山区高新区科技中一路腾讯大厦35层(72)发明人侯政旭赵瑞辉黄展鹏赵博(74)专利代理机构北京市立方律师事务所11330代理人张筱宁(51)Int.Cl.G06F16/332(2019.01)G06K9/62(2006.01)G06N3/04(2006.01)G06N3/08(2006.01)权利要求书2页说明书14页附图6页(54)发明名称对话方法、装置、电子设备及可读存储介质(57)摘要本申请涉及人工智能技术领域，公开了一种对话方法、装置、电子设备及可读存储介质，对话方法包括：获取用户输入的目标问句；基于训练后的强化学习模型，确定与所述目标问句对应的反馈动作；其中，所述强化学习模型是基于至少两轮样本对话、以及至少两轮样本对话所确定的奖励函数训练得到的；每一轮样本对话包括样本问句和对应的样本答句；确定与所述反馈动作对应的目标答句，并输出所述目标答句。本申请提供的对话方法使得最终训练得到的强化学习模型的预测准确率更高。CN111753076ACN111753076A权利要求书1/2页1.一种对话方法，其特征在于，包括：获取用户输入的目标问句；基于训练后的强化学习模型，确定与所述目标问句对应的反馈动作；所述强化学习模型是基于至少两轮样本对话分别对应的特征向量、以及所述特征向量所确定的奖励函数训练得到的；每一轮样本对话包括样本问句和对应的样本答句；所述特征向量用于表示每一轮对话中针对样本问句选择样本答句的概率；确定与所述反馈动作对应的目标答句，并输出所述目标答句。2.根据权利要求1所述的对话方法，其特征在于，所述训练后的强化学习模型通过如下方式训练得到：获取至少两轮样本对话分别对应的特征向量；基于所获取的至少两个特征向量，确定与所述至少两轮对话对应的奖励函数；基于所述每一轮样本对话中的所述样本问句、与所述样本答句对应的样本反馈动作以及所述奖励函数，对初始强化学习模型进行训练，得到训练后的所述强化学习模型。3.根据权利要求2所述的对话方法，其特征在于，所述获取至少两轮样本对话分别对应的特征向量，包括：基于若干第一特征提取网络和第二特征提取网络，提取至少两轮样本对话的最后一轮样本对话的第一特征向量，并提取其他轮样本对话所对应的第二特征向量；其中，其他轮样本对话是所述至少两轮样本对话中除最后一轮样本对话之外的样本对话。4.根据权利要求3所述的对话方法，其特征在于，所述提取至少两轮样本对话的最后一轮样本对话的第一特征向量，包括：将最后一轮样本对话输入到对应的第一特征提取网络；将第一特征提取网络的输出特征输入到对应的第二特征提取网络，得到所述第一特征向量。5.根据权利要求3所述的对话方法，其特征在于，所述提取其他轮样本对话所对应的第二特征向量，包括：经由若干第一特征提取网络分别对其他轮样本对话进行特征提取，并经由级联的若干第二特征提取网络根据提取的特征获取所述第二特征向量。6.根据权利要求3所述的对话方法，其特征在于，所述特征向量为对应的一轮样本对话的置信度；其中，所述置信度用于表示所述第二特征提取网络针对该一轮的样本问句输出对应的样本答句的概率。7.根据权利要求3所述的对话方法，其特征在于，所述基于所获取的至少两个特征向量，确定与所述至少两轮对话对应的奖励函数，包括：确定所述第一特征向量和所述第二特征向量之间的相似度；基于所确定的相似度获取对应的奖励函数。8.根据权利要求7所述的对话方法，其特征在于，所述基于所确定的相似度获取对应的奖励函数，包括：若所述相似度大于预设阈值，则基于所确定的相似度获取对应的奖励函数。9.根据权利要求1所述的对话方法，其特征在于，所述基于所述每一轮样本对话中的所述样本问句、与所述样本答句对应的样本反馈动作以及所述奖励函数，对初始强化学习模2CN111753076A权利要求书2/2页型进行训练，得到训练后的所述强化学习模型，包括：确定与所述样本对话对应的环境参数；其中，所述环境参数包括对话结果、样本对话所在的对话领域中的至少一种；基于所述环境参数、所述样本问句、所述样本反馈动作以及所述奖励函数，对所述初始强化学习模型进行训练，得到所述强化学习模型。10.一种对话装置，其特征在于，包括：获取模块，用于获取用户输入的目标问句；第一确定模块，用于基于训练后的强化学习模型，确定与所述目标问句对应的反馈动作；所述强化学习模型是基于至少两轮样本对话分别对应的特征向量、以及所述特征向量所确定的奖励函数训练得到的；每一轮样本对话包括样本问句和对应的样本答