预览加载中,请您耐心等待几秒...
1/10
2/10
3/10
4/10
5/10
6/10
7/10
8/10
9/10
10/10

亲,该文档总共33页,到这已经超出免费预览范围,如果喜欢就直接下载吧~

如果您无法下载资料,请参考说明:

1、部分资料下载需要金币,请确保您的账户上有足够的金币

2、已购买过的文档,再次下载不重复扣费

3、资料包下载后请先用软件解压,在使用对应软件打开

(19)中华人民共和国国家知识产权局(12)发明专利申请(10)申请公布号CN112052942A(43)申请公布日2020.12.08(21)申请号202010986099.2(22)申请日2020.09.18(71)申请人支付宝(杭州)信息技术有限公司地址310000浙江省杭州市西湖区西溪路556号8层B段801-11(72)发明人郑龙飞周俊陈超超王力(74)专利代理机构北京永新同创知识产权代理有限公司11376代理人林锦辉刘景峰(51)Int.Cl.G06N3/04(2006.01)G06N3/08(2006.01)G06K9/62(2006.01)权利要求书4页说明书20页附图8页(54)发明名称神经网络模型训练方法、装置及系统(57)摘要本说明书实施例提供神经网络模型训练方法及装置。神经网络模型包括位于各个第一成员设备的第一神经网络子模型。各个第一成员设备使用私有数据进行模型预测得到预测标签数据并确定第一神经网络子模型的模型更新信息,将第一神经网络子模型的模型更新信息和本地样本分布信息提供给第二成员设备。第二成员设备根据各个第一成员设备的第一神经网络子模型的模型更新信息进行神经网络模型重构,根据各个第一成员设备的本地样本分布信息确定整体样本概率分布,并将重构后的神经网络模型和整体样本概率分布分发给各个第一成员设备。各个第一成员设备根据本地样本概率分布、重构后的神经网络模型以及整体样本概率分布更新第一神经网络子模型。CN112052942ACN112052942A权利要求书1/4页1.一种用于训练神经网络模型的方法,所述神经网络模型包括位于各个第一成员设备侧的第一神经网络子模型,各个第一成员设备的私有数据是非独立同分布数据,所述方法包括:在各个第一成员设备处,使用用于模型训练的私有数据来根据第一神经网络子模型得到预测标签数据,并且根据所述预测标签数据和所述真实标签数据确定所述第一神经网络子模型的模型更新信息;各个第一成员设备将第一神经网络子模型的模型更新信息以及本地样本分布信息提供给第二成员设备;在第二成员设备处,根据各个第一成员设备的第一神经网络子模型的模型更新信息进行神经网络模型重构,根据各个第一成员设备的本地样本分布信息确定整体样本概率分布,并将重构后的神经网络模型以及所述整体样本概率分布分发给各个第一成员设备;以及在各个第一成员设备处,根据所具有的本地样本概率分布、所述重构后的神经网络模型以及所述整体样本概率分布,更新所具有的第一神经网络子模型。2.如权利要求1所述的方法,其中,所述样本概率分布包括:基于标签的样本概率分布;基于特征的样本概率分布;或者基于连接边数的样本概率分布。3.如权利要求1所述的方法,其中,所述第一神经网络子模型的模型更新信息包括更新后的所述第一神经网络子模型的模型参数,在第二成员设备处,根据各个第一成员设备的第一神经网络子模型的模型更新信息进行神经网络模型重构包括:在第二成员设备处,根据各个第一成员设备的更新后的第一神经网络子模型的模型参数进行神经网络模型重构。4.如权利要求1所述的方法,其中,所述神经网络模型包括位于所述第二成员设备处的第二神经网络子模型,所述第二神经网络子模型和所述第一神经网络子模型具有相同的模型结构,以及所述第一神经网络子模型的模型更新信息包括所述第一神经网络子模型的模型更新量,在第二成员设备处,根据各个第一成员设备的第一神经网络子模型的模型更新信息进行神经网络模型重构包括:在第二成员设备处,根据各个第一成员设备的第一神经网络子模型的模型更新量以及当前第二神经网络子模型进行神经网络模型重构。5.如权利要求1到4中任一所述的方法,其中,在各个第一成员设备处,根据所具有的本地样本概率分布、所述重构后的神经网络模型以及所述整体样本概率分布,更新所具有的第一神经网络子模型包括:在各个第一成员设备处,确定所具有的本地样本概率分布以及所述整体样本概率分布之间的分布相似度,并且根据所述分布相似度以及所述重构后的神经网络模型,更新所具有的第一神经网络子模型。6.如权利要求5所述的方法,其中,所述分布相似度是JS散度。2CN112052942A权利要求书2/4页7.如权利要求1到4中任一所述的方法,其中,各个第一成员设备将第一神经网络子模型的模型更新信息以及本地样本分布信息提供给第二成员设备包括:各个第一成员设备将第一神经网络子模型的模型更新信息以及本地样本分布信息通过安全聚合的方式提供给第二成员设备。8.如权利要求7所述的方法,其中,所述安全聚合包括:基于秘密共享的安全聚合;基于同态加密的安全聚合;基于不经意传输的安全聚合;基于混淆电路的安全聚合;或者基于可信执行环境的安全聚合。9.如权利要求1到4中任一所述的方法,其中,根据各个第一成员设备的本地样本分布信息确定整体样本概率分布包