一种基于联邦学习的模型训练方法.pdf

(19)中华人民共和国国家知识产权局(12)发明专利申请(10)申请公布号CN111046433A(43)申请公布日2020.04.21(21)申请号201911292212.0(22)申请日2019.12.13(71)申请人支付宝（杭州）信息技术有限公司地址310000浙江省杭州市西湖区西溪路556号8层B段801-11(72)发明人王力陈超超周俊(74)专利代理机构北京博思佳知识产权代理有限公司11415代理人周嗣勇(51)Int.Cl.G06F21/62(2013.01)G06N20/00(2019.01)权利要求书4页说明书9页附图3页(54)发明名称一种基于联邦学习的模型训练方法(57)摘要公开了一种基于联邦学习的模型训练方法。在一次训练迭代中，节点可以通过差分隐私保护操作，实现对梯度的加噪混淆，服务端可以获得加噪混淆后的梯度之和，进行模型参数的更新。CN111046433ACN111046433A权利要求书1/4页1.一种基于联邦学习的模型训练方法，应用于包括服务端与N个节点的联邦学习系统，N＞1，所述方法包括：在模型训练的第i次迭代中，执行：所述服务端将模型参数集合下发给Mi个节点；其中，Mi≤N，所述Mi个节点中存在Qi个目标类型节点；第j个目标类型节点根据所述模型参数集合与本地训练样本执行梯度计算以及差分隐**私保护操作，得到wij；其中，j＝(1,2，…，Qi)，wij＝wij+kij，wij表征第j个目标类型节点在未执行差分隐私操作的情况下得到的梯度，kij是第j个目标类型节点通过差分隐私保护操作确定的数据干扰项，用于保护所述Qi个目标类型节点的本地训练样本的差分隐私；所述服务端获取并基于更新模型参数集合。2.如权利要求1所述的方法，针对所述Mi个节点中的任一节点，若该节点在接收到模型参数集合之后，继续处于在线状态直至第i次迭代结束，则该节点属于目标类型节点。3.如权利要求1所述的方法，第j个目标类型节点根据所述模型参数集合与本地训练样本执行梯度计算以及差分隐私保护操作，得到wij，具体包括：第j个目标类型节点根据所述模型参数集合与本地训练样本执行梯度计算，得到梯度**wij，并通过差分隐私保护操作，向wij中加入数据干扰项kij，得到得到wij；或者，第j个目标类型节点通过差分隐私保护操作，向所述模型参数集合加入干扰，并根据干扰后的所述模型参数集合与本地训练样本执行梯度计算，得到wij；或者，第j个目标类型节点通过差分隐私保护操作，向本地训练样本加入干扰，并根据干扰后的本地训练样本与所述模型参数集合执行梯度计算，得到wij。4.如权利要求1所述的方法，所述服务端获取具体包括：第j个目标类型节点使用公钥pki对wij进行加密，得到E(wij)并上传给所述服务端；其中，所述Mi个节点基于门限同态加密协议，约定pki以及所述Mi个节点中每个节点的子私钥集合；所述服务端计算并获取其中，是使用至少Ti个目标类型节点的子私钥集合对进行解密得到的，Ti是第i次迭代中，门限同态加密协议指定的门限值。5.如权利要求4所述的方法，所述服务端获取具体包括：所述服务端将下发给至少Ti个目标类型节点；2CN111046433A权利要求书2/4页针对所述至少Ti个目标类型节点中的每个目标类型节点，该目标类型节点使用自身的子私钥集合解密得到解密结果并上传给所述服务端；所述服务端对所述至少Ti个目标类型节点分别上传的解密结果进行汇总，得到6.如权利要求4所述的方法，所述服务端获取具体包括：所述服务端若确定Qi≥Ti，则获取所述方法还包括：所述服务端若确定Qi＜Ti，则停止本次迭代，并进入下一次迭代。7.如权利要求1～6任一项所述的方法，所述模型对应的输入数据包括：图像或文本或语音。8.如权利要求7所述的方法，所述文本包含实体对象信息。9.一种联邦学习系统，包括服务端与N个节点，N＞1；所述服务端，在模型训练的第i次迭代中，将模型参数集合下发给Mi个节点；其中，Mi≤N，所述Mi个节点中存在Qi个目标类型节点；第j个目标类型节点，根据所述模型参数集合与本地训练样本执行梯度计算以及差分**隐私保护操作，得到wij；其中，j＝(1,2，…，Qi)，wij＝wij+kij，wij表征第j个目标类型节点在未执行差分隐私操作的情况下得到的梯度，kij是第j个目标类型节点通过差分隐私保护操作确定的数据干扰项，用于保护所述Qi个目标类型节点的本地训练样本的差分隐私；所述服务端，还获取并基于更新模型参数集合。10.一种基于联邦学习的模型训练方法，应用于联邦学习系统中的服务端，所述联邦学习系统还包括N个节点，N＞1，所述方法包括：在模型训练的第i次迭代中，执行：将模型参数集合下发给Mi个节点；其中，Mi≤N，所述Mi个节点中存在Qi个目标类型节点；以使第