自助对话方法、装置、设备及存储介质.pdf

(19)中华人民共和国国家知识产权局(12)发明专利申请(10)申请公布号CN113821615A(43)申请公布日2021.12.21(21)申请号202110864729.3(22)申请日2021.07.29(71)申请人腾讯科技（深圳）有限公司地址518057广东省深圳市南山区高新区科技中一路腾讯大厦35层(72)发明人王慧敏张云燕杨奕凡(74)专利代理机构北京三高永信知识产权代理有限责任公司11138代理人张所明(51)Int.Cl.G06F16/332(2019.01)G06F40/35(2020.01)G06N3/08(2006.01)权利要求书3页说明书15页附图4页(54)发明名称自助对话方法、装置、设备及存储介质(57)摘要本申请公开了一种自助对话方法、装置、设备及存储介质，涉及人工智能技术领域。所述方法包括：获取自助对话代理的对话策略数据，对话策略数据包括至少一组环境状态和对话动作；通过自助对话代理，基于环境的目标状态，得到与目标状态对应的目标动作；基于目标状态和目标动作与对话策略数据的一致性，以及目标动作的环境奖励，得到代理对话奖励；基于代理对话奖励，调整自助对话代理的参数，得到完成训练的自助对话代理，完成训练的自助对话代理用于进行自助对话。本申请实施例在一定程度上缓解了自助对话代理在强化学习过程中的稀疏奖励问题，提升了自助对话代理的收敛速度。CN113821615ACN113821615A权利要求书1/3页1.一种自助对话方法，其特征在于，所述方法包括：获取自助对话代理的对话策略数据，所述对话策略数据包括至少一组环境状态和对话动作；通过所述自助对话代理，基于环境的目标状态，得到与所述目标状态对应的目标动作；基于所述目标状态和所述目标动作与所述对话策略数据的一致性，以及所述目标动作的环境奖励，得到代理对话奖励，所述代理对话奖励用于指示所述自助对话代理训练的目标；基于所述代理对话奖励，调整所述自助对话代理的参数，得到完成训练的自助对话代理，所述完成训练的自助对话代理用于进行自助对话。2.根据权利要求1所述的方法，其特征在于，所述基于所述目标状态和所述目标动作与所述对话策略数据的一致性，以及所述目标动作的环境奖励，得到代理对话奖励，包括：从所述对话策略数据中，确定与所述目标状态和所述目标动作一致的目标环境状态和目标对话动作；基于所述目标状态和所述目标动作与所述目标环境状态和所述目标对话动作之间的相似度，确定代理中间奖励；所述代理中间奖励用于指示所述目标状态和所述目标动作与所述对话策略数据的一致性；获取代理稀疏奖励，所述代理稀疏奖励用于指示所述目标动作的环境奖励；基于所述代理中间奖励和所述代理稀疏奖励，确定所述代理对话奖励。3.根据权利要求2所述的方法，其特征在于，所述从所述对话策略数据中，确定与所述目标状态和所述目标动作一致的目标环境状态和目标对话动作，包括：从所述对话策略数据包括的对话动作中，确定与所述目标动作一致的目标对话动作；将所述对话策略数据包括的环境状态中，与所述目标对话动作对应的环境状态，确定为目标环境状态。4.根据权利要求2所述的方法，其特征在于，所述基于所述目标状态和所述目标动作与所述目标环境状态和所述目标对话动作之间的相似度，确定代理中间奖励之前，还包括：基于所述目标状态和所述目标环境状态，确定状态向量差，所述状态向量差用于指示所述目标状态和所述目标环境状态之间的偏差；基于所述状态向量差和所述状态向量差的转置，确定所述目标状态和所述目标动作与所述目标环境状态和所述目标对话动作之间的相似度。5.根据权利要求1所述的方法，其特征在于，所述基于所述代理对话奖励，调整所述自助对话代理的参数，得到完成训练的自助对话代理，包括：基于所述代理对话奖励，确定代理对话价值，所述代理对话价值用于指示所述目标动作在所述自助对话代理的当前对话过程和未来对话过程中的价值；基于所述代理对话价值，确定代理对话损失，所述代理对话损失用于指示所述自助对话代理的准确性；采用随机梯度下降方法，基于所述代理对话损失，调整所述自助对话代理的参数，得到所述完成训练的自助对话代理。6.根据权利要求1所述的方法，其特征在于，所述获取自助对话代理的对话策略数据之后，还包括：2CN113821615A权利要求书2/3页通过所述自助对话代理，基于所述对话策略数据，得到行为克隆损失，所述行为克隆损失是指采用行为克隆的方式对所述自助对话代理进行预训练得到的损失；基于所述行为克隆损失，调整所述自助对话代理的参数，得到完成预训练的自助对话代理；其中，所述完成预训练的自助对话代理用于执行通过所述自助对话代理，基于环境的目标状态，得到与所述目标状态对应的目标动作的步骤。7.根据权利要求6所述的方法，其特征在于，所述通过所述自助对话代理，基于所述对话策略数据