自动客服的应答方法、装置和计算机可读存储介质.pdf

(19)中华人民共和国国家知识产权局(12)发明专利申请(10)申请公布号CN112328769A(43)申请公布日2021.02.05(21)申请号202011277208.XG06N3/04(2006.01)(22)申请日2020.11.16G06N3/08(2006.01)(71)申请人北京沃东天骏信息技术有限公司地址100176北京市大兴区北京经济技术开发区科创十一街18号院2号楼4层A402室申请人北京京东世纪贸易有限公司(72)发明人张伯雷易津锋陈东东刘君亮(74)专利代理机构中国贸促会专利商标事务所有限公司11038代理人孙玉许蓓(51)Int.Cl.G06F16/332(2019.01)G06F16/35(2019.01)G06Q30/00(2012.01)权利要求书3页说明书9页附图3页(54)发明名称自动客服的应答方法、装置和计算机可读存储介质(57)摘要本公开涉及一种自动客服的应答方法、装置和计算机可读存储介质，涉及计算机技术领域。本公开的方法包括：响应于用户进入自动客服系统，获取用户的特征信息；将特征信息转换成的特征向量输入应答模型，得到一条或多条应答信息，显示给用户，其中，应答模型是根据多个用户的特征向量，对应的预设的应答信息以及对应的预设的反馈信息预训练得到的；接收用户针对一条或多条应答信息的反馈信息；根据反馈信息更新应答模型的参数。CN112328769ACN112328769A权利要求书1/3页1.一种自动客服的应答方法，包括：响应于用户进入自动客服系统，获取所述用户的特征信息；将所述特征信息转换成的特征向量输入应答模型，得到一条或多条应答信息，显示给所述用户，其中，所述应答模型是根据多个用户的特征向量，对应的预设的应答信息以及对应的预设的反馈信息预训练得到的；接收所述用户针对所述一条或多条应答信息的反馈信息；根据所述反馈信息更新所述应答模型的参数。2.根据权利要求1所述的应答方法，其中，所述根据所述反馈信息更新所述应答模型的参数包括：根据所述反馈信息确定奖励值，其中，在所述反馈信息包括所述用户选择的至少一条应答信息的情况下相对于所述反馈信息为所述用户未选择应答信息的情况下，所述奖励值更高；根据所述反馈信息更新所述用户的特征信息，生成更新后的特征信息；根据更新后的特征信息转换成的更新后的特征向量和所述奖励值，更新所述应答模型的参数。3.根据权利要求2所述的应答方法，其中，所述根据更新后的特征信息转换成的更新后的特征向量和所述奖励值，更新所述应答模型的参数包括：针对每个用户，将所述特征向量、所述一条或多条应答信息、更新后的特征向量和所述奖励值，作为所述用户对应的样本数据；根据预设数量的用户中每个用户对应的样本数据更新所述应答模型的参数。4.根据权利要求3所述的应答方法，其中，所述应答模型包括：第一当前神经网络、第一目标神经网络、第二当前神经网络和第二目标神经网络，所述将所述特征信息转换成的特征向量输入应答模型，得到一条或多条应答信息包括：将所述特征向量作为当前状态输入第一当前神经网络，得到输出的一条或多条应答信息。5.根据权利要求4所述的应答方法，其中，所述根据预设数量的用户中每个用户对应的样本数据更新所述应答模型的参数包括：针对每个用户，将所述一条或多条应答信息对应的数值作为当前动作值，与所述当前状态一起输入所述第二当前神经网络，得到所述用户对应的当前评估值；针对每个用户，将所述更新后的特征向量作为下一状态，输入所述第一目标神经网络，得到下一动作值；针对每个用户，将所述下一动作值、所述下一状态输入第二目标神经网络得到所述用户对应的目标评估值；根据每个用户对应的当前评估值更新所述第一当前神经网络的参数；根据每个用户对应的当前评估值、目标评估值和所述奖励值更新所述第二当前神经网络的参数；根据所述第一当前神经网络的参数更新所述第一目标神经网络的参数，根据所述第二当前神经网络的参数更新所述第二目标神经网络的参数。6.根据权利要求5所述的应答方法，其中，所述根据每个用户对应的当前评估值更新所2CN112328769A权利要求书2/3页述第一当前神经网络的参数包括：根据每个用户对应的当前评估值，计算策略梯度；根据所述策略梯度更新所述第一当前神经网络的参数；所述根据每个用户对应的当前评估值、目标评估值和所述奖励值更新所述第二当前神经网络的参数包括：根据每个用户对应的当前评估值、目标评估值和所述奖励值，计算损失函数；根据所述损失函数更新所述第二当前神经网络的参数。7.根据权利要求4所述的应答方法，其中，所述将所述特征向量作为当前状态输入第一当前神经网络，得到一条或多条应答信息包括：将所述特征向量作为当前状态输入第一当前神经网络得到第一动作值，对所述第一动作值进行随机噪声采样，得到当前动作值；根据当前动作值对应的