一种基于联邦学习的模型训练方法.pdf

(19)中华人民共和国国家知识产权局(12)发明专利申请(10)申请公布号CN110955907A(43)申请公布日2020.04.03(21)申请号201911285233.X(22)申请日2019.12.13(71)申请人支付宝（杭州）信息技术有限公司地址310000浙江省杭州市西湖区西溪路556号8层B段801-11(72)发明人王力陈超超周俊(74)专利代理机构北京博思佳知识产权代理有限公司11415代理人周嗣勇(51)Int.Cl.G06F21/60(2013.01)G06F21/62(2013.01)G06N20/00(2019.01)权利要求书3页说明书9页附图3页(54)发明名称一种基于联邦学习的模型训练方法(57)摘要公开了一种基于联邦学习的模型训练方法。为了保护服务端的隐私(模型参数)不泄露，服务端采用同态加密算法对模型参数集合进行加密后下发给节点，节点基于同态加密原理，使用加密后的模型参数与本地训练样本进行加密状态下的模型计算，得到加密梯度。随后，节点基于同态加密原理，计算加密梯度与加密随机数的差，这个差实质上是加密的某个无意义的值。接着，节点将加密后的值上传给服务端。此外，服务端可以利用SA协议，在不获知每个节点上的随机数的前提下，获知各节点上的随机数之和。如此，服务端就可以根据每个节点上传的加密后的值与各随机数之和来还原出每个节点产生的梯度之和，从而可以更新模型参数。CN110955907ACN110955907A权利要求书1/3页1.一种基于联邦学习的模型训练方法，应用于包括服务端与N个节点的联邦学习系统，N＞1，所述方法包括：在模型训练的第i次迭代中，执行：所述服务端基于同态加密算法E对模型参数集合θ进行加密，得到E(θ)，并将E(θ)下发给Mi个节点；其中，Mi≤N，所述Mi个节点中存在Qi个目标类型节点；第j个目标类型节点根据E(θ)与本地训练样本，进行加密状态下的模型计算，得到加密梯度E(wij)；其中，j＝(1,2，…，Qi)；第j个目标类型节点确定随机数rj，并计算E(wij)-E(rij)，得到E(sij)，以及，向所述服务端上传E(sij)；所述服务端根据E(sij)计算并基于安全聚合SA协议，计算所述服务端计算得到并基于更新θ。2.如权利要求1所述的方法，针对所述Mi个节点中的任一节点，若该节点在接收到E(θ)之后，继续处于在线状态直至第i次迭代结束，则该节点属于目标类型节点。3.如权利要求2所述的方法，所述服务端根据E(sij)计算具体包括：所述服务端若确定Qi≥Ti，则根据E(sij)计算其中，Ti为：第i次迭代中，SA协议指定的Mi个节点中处于在线状态的节点的数量的下限值；所述方法还包括：所述服务端若确定Qi＜Ti，则停止本次迭代，并进入下一次迭代。4.如权利要求1所述的方法，所述服务端根据E(sij)计算具体包括：所述服务端对E(sij)进行解密，得到sij，进而得到或者，所述服务端计算进而解密得到5.如权利要求1所述的方法，用于训练线性回归模型。6.如权利要求1～5任一项所述的方法，所述模型对应的输入数据包括：图像或文本或语音。7.如权利要求6所述的方法，所述文本包含实体对象信息。8.一种联邦学习系统，包括服务端与N个节点，N＞1；所述服务端，在模型训练的第i次迭代中，基于同态加密算法E对模型参数集合θ进行加密，得到E(θ)，并将E(θ)下发给Mi个节点，其中，Mi≤N，所述Mi个节点中存在Qi个目标类型节点；2CN110955907A权利要求书2/3页第j个目标类型节点，根据E(θ)与本地训练样本，进行加密状态下的模型计算，得到加密梯度E(wij)，其中，j＝(1,2，…，Qi)；确定随机数rij，并计算E(wij)-E(rij)，得到E(sij)，以及，向所述服务端上传E(sij)；所述服务端，还根据E(sij)计算并基于安全聚合SA协议，计算计算得到并基于更新θ。9.一种基于联邦学习的模型训练方法，应用于联邦学习系统中的服务端，所述联邦学习系统还包括N个节点，N＞1，所述方法包括：在模型训练的第i次迭代中，执行：基于同态加密算法E对模型参数集合θ进行加密，得到E(θ)，并将E(θ)下发给Mi个节点，其中，Mi≤N，所述Mi个节点中存在Qi个目标类型节点，以使第j个目标类型节点根据E(θ)与本地训练样本，进行加密状态下的模型计算，得到加密梯度E(wij)，其中，j＝(1,2，…，Qi)；进而使第j个目标类型节点确定随机数rij，并计算E(wij)-E(rij)，得到E(sij)，以及，向所述服务端上传E(sij)；根据E(sij)计算并基于安全聚合SA协议，计算计算得到并基于更新θ。10.一种基于联邦学习的模型训练方法，应用于联邦学习系统中的节点，所述联邦学习系统包括