图神经网络模型训练方法、装置及系统.pdf

(19)中华人民共和国国家知识产权局(12)发明专利申请(10)申请公布号CN111738438A(43)申请公布日2020.10.02(21)申请号202010691847.4(22)申请日2020.07.17(71)申请人支付宝（杭州）信息技术有限公司地址310000浙江省杭州市西湖区西溪路556号8层B段801-11(72)发明人郑龙飞周俊陈超超王力(74)专利代理机构北京永新同创知识产权代理有限公司11376代理人林锦辉刘景峰(51)Int.Cl.G06N3/08(2006.01)权利要求书4页说明书15页附图6页(54)发明名称图神经网络模型训练方法、装置及系统(57)摘要本说明书实施例提供图神经网络模型训练方法及装置。图神经网络模型包括位于各个第一成员设备的节点特征向量表示子模型和归一化子模型以及位于第二成员设备的判别模型，各个第一成员设备的私有数据是非独立同分布数据。各个第一成员设备的节点特征向量表示子模型的模型结构根据各自数据的数据分布特征确定。各个第一成员设备使用节点特征向量表示子模型和归一化子模型得到归一化特征向量表示，利用从第二成员设备获取的判别模型得到预测标签值并确定出损失函数。各个第一成员设备基于损失函数，确定判别模型的模型更新量并更新节点特征向量表示子模型和归一化子模型。第二成员设备使用源于各个第一成员设备的判别模型的模型更新量更新判别模型。CN111738438ACN111738438A权利要求书1/4页1.一种用于训练图神经网络模型的方法，所述图神经网络模型包括位于各个第一成员设备处的节点特征向量表示子模型和归一化子模型以及位于第二成员设备处的判别模型，各个第一成员设备具有私有数据和标签值，各个第一成员设备的私有数据是非独立同分布数据，并且按照水平切分的方式共同组成所述图神经网络模型的训练样本，所述方法包括：在各个第一成员设备处，将用于模型训练的私有数据提供给节点特征向量表示子模型得到节点特征向量表示，以及将所述节点特征向量表示提供给归一化子模型得到归一化特征向量表示，所述归一化特征向量表示的维度与所述判别模型的输入维度相同，各个第一成员设备的节点特征向量表示子模型的模型结构根据各自私有数据的数据分布特征确定；各个第一成员设备从所述第二成员设备获取当前判别模型；在各个第一成员设备处，将所述归一化特征向量表示提供给所述判别模型得到预测标签值，根据所述预测标签值以及所述第一成员设备具有的标签值确定损失函数，并且基于所述损失函数，确定所述判别模型的模型更新量并更新所述节点特征向量表示子模型和所述归一化子模型；各个第一成员设备将所述判别模型的模型更新量提供给所述第二成员设备；以及在所述第二成员设备处，使用源于各个第一成员设备的判别模型的模型更新量来更新所述判别模型。2.如权利要求1所述的方法，其中，各个第一成员设备处得到的模型更新量通过安全聚合的方式提供给所述第二成员设备。3.如权利要求2所述的方法，其中，所述安全聚合包括：基于秘密共享的安全聚合；基于同态加密的安全聚合；基于不经意传输的安全聚合；基于混淆电路的安全聚合；或者基于可信执行环境的安全聚合。4.如权利要求1所述的方法，其中，各个第一成员设备具有模型更新权重，以及所述第二成员设备使用源于各个第一成员设备的判别模型的模型更新量以及各自的模型更新权重来更新所述判别模型。5.如权利要求4所述的方法，其中，各个第一成员设备的模型更新权重根据各个第一成员设备的私有数据的数据质量和/或批样本数据数量确定。6.如权利要求1到5中任一所述的方法，其中，针对所述图神经网络模型的训练循环执行，直到满足循环结束条件，其中，在未满足所述循环结束条件时，所述更新后的各个第一成员设备的节点特征向量表示子模型和归一化子模型以及所述第二成员设备的判别模型用作下一循环过程的当前模型。7.如权利要求6所述的方法，其中，所述循环结束条件包括：预定循环次数；所述判别模型的各个模型参数的变化量不大于预定阈值；或者当前总损失函数位于预定范围内。8.一种用于训练图神经网络模型的方法，所述图神经网络模型包括位于各个第一成员2CN111738438A权利要求书2/4页设备处的节点特征向量表示子模型和归一化子模型以及位于第二成员设备处的判别模型，各个第一成员设备具有私有数据和标签值，各个第一成员设备的私有数据是非独立同分布数据，并且按照水平切分的方式共同组成所述图神经网络模型的训练样本，各个第一成员设备的节点特征向量表示子模型的模型结构根据各自私有数据的数据分布特征确定，所述方法由第一成员设备执行，所述方法包括：将用于模型训练的私有数据提供给节点特征向量表示子模型得到节点特征向量表示；将所述节点特征向量表示提供给归一化子模型得到归一化特征向量表示，所述归一化特征向量表示的维度与所述判别模型的输入