预览加载中,请您耐心等待几秒...
1/10
2/10
3/10
4/10
5/10
6/10
7/10
8/10
9/10
10/10

亲,该文档总共26页,到这已经超出免费预览范围,如果喜欢就直接下载吧~

如果您无法下载资料,请参考说明:

1、部分资料下载需要金币,请确保您的账户上有足够的金币

2、已购买过的文档,再次下载不重复扣费

3、资料包下载后请先用软件解压,在使用对应软件打开

(19)中华人民共和国国家知识产权局(12)发明专利申请(10)申请公布号CN112132270A(43)申请公布日2020.12.25(21)申请号202011325643.5(22)申请日2020.11.24(71)申请人支付宝(杭州)信息技术有限公司地址310000浙江省杭州市西湖区西溪路556号8层B段801-11(72)发明人陈超超郑龙飞周俊王力(74)专利代理机构北京永新同创知识产权代理有限公司11376代理人林锦辉刘景峰(51)Int.Cl.G06N3/04(2006.01)G06N3/08(2006.01)G06F21/62(2013.01)权利要求书3页说明书15页附图7页(54)发明名称基于隐私保护的神经网络模型训练方法、装置及系统(57)摘要本说明书实施例提供基于隐私保护的神经网络模型训练方法、装置及系统。每个第一成员设备具有本地数据并且部署至少一个客户端模型,第二成员设备部署至少一个服务端模型,至少一个客户端模型和至少一个服务端模型按照模型间隔方式组成神经网络模型。在每次循环时,各个第一成员设备和第二成员设备使用第一成员设备的本地数据执行模型预测计算。对于每个客户端模型,各个第一成员设备使用本地数据或者在前服务端模型的模型计算结果进行多方安全计算。对于每个服务端模型,第二成员设备使用在前客户端模型的模型计算结果执行本地计算。基于模型预测值确定预测差值,并且在各个成员设备处通过反向传播方式来使用加噪声的梯度下降法进行模型更新。CN112132270ACN112132270A权利要求书1/3页1.一种基于隐私保护的神经网络模型训练方法,其中,所述神经网络模型经由第二成员设备和多个第一成员设备协同训练,每个第一成员设备具有本地数据并且部署有至少一个客户端模型,所述第二成员设备部署有至少一个服务端模型,所述至少一个客户端模型和所述至少一个服务端模型按照客户端模型与服务端模型间隔的方式组成所述神经网络模型,所述方法包括:执行下述循环过程,直到满足循环结束条件:经由所述多个第一成员设备和所述第二成员设备,使用各个第一成员设备的本地数据执行模型预测计算得到所述当前神经网络模型的当前模型预测值,其中,对于每个客户端模型,经由各个第一成员设备使用该客户端模型的各自当前模型参数以及本地数据或者在前服务端模型的当前模型计算结果进行多方安全计算,得到该客户端模型的当前模型计算结果,以及对于每个服务端模型,经由所述第二成员设备使用在前客户端模型的当前模型计算结果和该服务端模型的当前模型参数执行本地计算,得到该服务端模型的当前模型计算结果;在具有标签数据的第一成员设备或者所述第二成员设备处,基于所述当前模型预测值和标签数据,确定当前预测差值;以及在各个成员设备处,通过反向传播方式来进行当前模型更新,其中,各个客户端模型的至少部分模型结构的模型参数使用加噪声的梯度下降法进行模型参数更新,其中,在未满足所述循环结束条件时,各个客户端模型和服务端模型的更新后的模型参数充当下一循环过程的各个客户端模型和服务端模型的当前模型参数。2.如权利要求1所述的神经网络模型训练方法,其中,所述加噪声的梯度下降法包括贝叶斯学习法。3.如权利要求1或2所述的神经网络模型训练方法,其中,各个客户端模型的剩余模型结构的模型参数使用加噪声的梯度下降法进行模型参数更新,和/或各个服务端模型的部分或者所有模型结构的模型参数使用加噪声的梯度下降法进行模型参数更新。4.如权利要求1到3中任一所述的神经网络模型训练方法,其中,所述服务端模型中的神经网络模型分层结构的模型计算与数据隐私保护无关。5.如权利要求1或2所述的神经网络模型训练方法,其中,使用加噪声的梯度下降法进行模型参数更新的客户端模型结构所包括的隐层的总层数根据用于模型训练的算力、应用场景所要求的训练时效性和/或训练安全等级确定。6.如权利要求1或2所述的神经网络模型训练方法,其中,所述神经网络模型包括N个隐层,所述至少一个客户端模型包括单个客户端模型,所述至少一个服务端模型包括单个服务端模型,所述单个客户端模型包括输入层以及第一隐层到第K隐层,以及所述单个服务端模型包括输出层以及第K+1隐层到第N隐层。7.如权利要求1或2所述的神经网络模型训练方法,其中,所述神经网络模型包括N个隐层,所述至少一个客户端模型包括第一客户端模型和第二客户端模型,所述至少一个服务端模型包括单个服务端模型,所述第一客户端模型包括输入层以及第一隐层到第K隐层,所述单个服务端模型包括第K+1隐层到第L隐层,以及所述第二客户端模型包括输出层以及第L+1隐层到第N隐层。8.如权利要求1或2所述的神经网络模型训练方法,其中,所述神经网络模型包括N个隐2CN112132270A权利要求书2/3页层,所述至少一个客户端模型包括第一客户端模型和第