行为预测模型的训练方法及装置.pdf

(19)中华人民共和国国家知识产权局(12)发明专利申请(10)申请公布号CN111681059A(43)申请公布日2020.09.18(21)申请号202010819192.4G06N3/08(2006.01)(22)申请日2020.08.14(71)申请人支付宝（杭州）信息技术有限公司地址310000浙江省杭州市西湖区西溪路556号8层B段801-11(72)发明人庄晨熠张志强刘子奇周俊谭译泽魏建平刘致宁吴郑伟顾进杰漆远张冠男(74)专利代理机构北京亿腾知识产权代理事务所(普通合伙)11309代理人陈霁周良玉(51)Int.Cl.G06Q30/02(2012.01)G06K9/62(2006.01)G06N3/04(2006.01)权利要求书12页说明书24页附图6页(54)发明名称行为预测模型的训练方法及装置(57)摘要本说明书实施例提供一种行为预测模型的训练方法，包括：先确定针对目标对象的多个样本用户，其中任一的第一样本用户对应第一样本硬标签，指示是否对该目标对象做出特定行为；再基于利用训练后的图神经网络对用户-对象二部图进行图嵌入处理而确定的嵌入向量集，确定对应于第一样本用户的样本用户特征向量以及对应于目标对象的目标对象特征向量，进而确定第一样本用户对目标对象做出特定行为的特定行为概率，作为第一样本软标签，并且，将该样本用户特征向量输入第一行为预测模型中，得到行为预测结果；利用基于该预测结果和第一样本硬标签确定的第一损失项，以及基于该预测结果和第一样本软标签确定的第二损失项，训练该第一行为预测模型。CN111681059ACN111681059A权利要求书1/12页1.一种行为预测模型的训练方法，包括：确定针对目标对象的多个样本用户，其中任一的第一样本用户对应第一样本硬标签，该第一样本硬标签指示该第一样本用户是否对所述目标对象做出特定行为；基于预先确定的嵌入向量集，确定对应于所述第一样本用户的样本用户特征向量，并且，确定对应于所述目标对象的目标对象特征向量；其中，所述嵌入向量集是利用训练后的图神经网络对构建的二部图进行图嵌入处理而确定；所述二部图包括对应于多个用户的多个用户节点，对应于多个对象的多个对象节点，以及用户节点向对象节点做出所述特定行为而形成的连接边，所述嵌入向量集中包括所述多个用户的多个用户特征向量和所述多个对象的多个对象特征向量；将所述样本用户特征向量输入第一行为预测模型中，得到行为预测结果；基于所述行为预测结果和所述第一样本硬标签，确定第一损失项；基于所述样本用户特征向量和所述目标对象特征向量，确定所述第一样本用户对该目标对象做出该特定行为的特定行为概率，作为第一样本软标签；基于所述行为预测结果和所述第一样本软标签，确定第二损失项；利用所述第一损失项和第二损失项，训练所述第一行为预测模型。2.根据权利要求1所述的方法，其中，所述目标对象属于以下中的任一种：内容信息、业务登录界面、商品、服务、用户；其中内容信息的形式包括以下中的至少一种：图片、文本、视频。3.根据权利要求1所述的方法，其中，所述特定行为包括以下中的任一种：点击行为、浏览达到预设时长的行为、注册行为、登录行为、购买行为和关注行为。4.根据权利要求1所述的方法，其中，所述图神经网络包括L个隐层，所述图嵌入处理包括：针对所述二部图中任意的第一节点，在每个隐层，获取上一隐层输出的隐向量，所述隐向量包括对应于K个特征子空间的K个子隐向量，对所述K个子隐向量分别进行T次迭代更新得到本层输出的隐向量，将第L个隐层输出的隐向量作为所述第一节点对应的特征向量。5.根据权利要求4所述的方法，其中，对所述K个子隐向量分别进行T次迭代更新包括，对所述K个子隐向量中任意的第j子隐向量进行T次迭代更新，其中任一次迭代更新包括：获取所述第一节点的第j子映射向量，其是将所述第一节点的节点特征映射至第j个子特征空间而得到；获取所述第一节点的N个邻居节点各自对应的K个子映射向量，该K个子映射向量是将对应的邻居节点的节点特征映射至所述K个特征子空间而得到；针对所述N个邻居节点中任一的第二节点，分别计算该第二节点对应的K个子映射向量与所述第j子隐向量之间的K个相似度，并利用其和值对其中第j个相似度进行归一化处理，得到第一权重；利用对应于N个邻居节点的N个第一权重，对该N个邻居节点所对应的N个第j子映射向量进行加权处理，得到加权向量；将所述第j子隐向量更新为，所述第一节点的第j子映射向量和所述加权向量的和向量所对应的单位向量。6.根据权利要求5所述的方法，其中，利用对应于N个邻居节点的N个第一权重，对该N个2CN111681059A权利要求书2/12页邻居节点所对应的N个第j子映射向量进行加权处理，得到加权向量，包括：获取对N个注意力分数进行归一化处理而得到的N个第二权重，所述