基于隐私保护的模型联合训练方法及装置.pdf

(19)中华人民共和国国家知识产权局(12)发明专利申请(10)申请公布号CN112231742A(43)申请公布日2021.01.15(21)申请号202011465465.6(22)申请日2020.12.14(71)申请人支付宝（杭州）信息技术有限公司地址310000浙江省杭州市西湖区西溪路556号8层B段801-11(72)发明人周启贤张君涛(74)专利代理机构北京亿腾知识产权代理事务所(普通合伙)11309代理人陈霁周良玉(51)Int.Cl.G06F21/60(2013.01)G06N3/08(2006.01)权利要求书4页说明书22页附图10页(54)发明名称基于隐私保护的模型联合训练方法及装置(57)摘要本说明书实施例提供了一种基于隐私保护的模型联合训练方法及装置。在联合训练过程是在目标数量是在迭代的轮次大于或等于预设的目标迭代的轮次的条件下，开始基于目标数量对用于联合训练的梯度的数量进行调整，由服务器确定出在下一轮或几轮迭代中终端需向服务器发送的梯度的数量（即，目标数量），使得参与联合训练的终端不必在整个联合训练的过程中将得到的所有梯度都上传至服务器。CN112231742ACN112231742A权利要求书1/4页1.一种基于隐私保护的模型联合训练方法，所述联合训练由服务器和若干个终端共同进行，所述联合训练包括若干次迭代，所述方法由所述服务器执行，所述方法包括：根据待训练的模型的信息，确定目标数量；所述目标数量是在迭代的轮次大于或等于预设的目标迭代的轮次时，若干个终端中的任意一个终端向所述服务器发送的梯度的数量；针对若干个终端中的所述任意一个终端，将所述目标数量发送至该终端，使得该终端在迭代的轮次大于或等于目标迭代的轮次时，根据该终端生成的对应于所述模型的各个参数的梯度，确定出目标数量个目标梯度；根据接收到的分别来自于若干个终端的各个目标梯度，得到训练后的模型参数，以得到训练后的模型。2.根据权利要求1所述的方法，其中，所述模型的信息包括：待训练的模型的参数的数量、上一次训练待训练的模型的时间中的至少一种。3.根据权利要求1所述的方法，其中，根据待训练的模型的信息，确定目标数量，包括：在本次迭代的轮次大于或等于预设的目标迭代的轮次、且本次迭代未达到训练结束条件时，针对若干个终端中的每一个终端，获取该终端上一次迭代中确定出的损失；训练结束条件是根据待训练的模型的信息得到的；根据该终端在上一次迭代中确定出的损失，确定该终端在执行本次迭代时向所述服务器发送的梯度的数量，作为目标数量。4.根据权利要求1所述的方法，其中，根据接收到的分别来自于若干个终端的各个目标梯度，得到训练后的模型参数之前，所述方法还包括：对待训练的模型的参数进行加密，得到加密后的模型；将加密后的模型发送至参与所述联合训练的若干个终端中的每一个终端，使得每一个终端根据所述加密后的模型，得到待训练的模型。5.根据权利要求4所述的方法，其中，对待训练的模型的参数进行加密之前，所述方法还包括：针对待训练的模型的每组参数，对该组参数进行第一扁平化处理，得到该组参数对应的综合参数值；待训练的模型的每组参数是根据预设的第一分组规则，对待训练的模型的各个参数进行分组得到的；对待训练的模型的参数进行加密，包括：针对各组参数对应的综合参数值，采用各组参数分别对应的密钥，分别地进行加密。6.根据权利要求4所述的方法，其中，所述模型通过神经网络实现，所述神经网络包括多个层；任意一组参数对应于所述神经网络的一个层。7.根据权利要求4所述的方法，其中，对待训练的模型的参数进行加密之前，所述方法还包括：确定对待训练的模型的参数进行加密所需的第一密钥，所述第一密钥包括公钥和私钥；对待训练的模型的参数进行加密，包括：采用所述私钥对待训练的模型的参数进行加密；根据接收到的分别来自于若干个终端的各个目标梯度，得到训练后的模型参数之前，2CN112231742A权利要求书2/4页所述方法还包括：将所述公钥发送至参与所述联合训练的若干个终端中的每一个终端，使得每一个终端采用所述公钥对加密后的模型解密。8.根据权利要求1所述的方法，其中，所述目标梯度是根据综合梯度值得到的；所述综合梯度值是根据预设的第二分组规则将所述各个参数的梯度划分为多个梯度组，将该多个梯度组分别进行第二扁平化处理之后，根据所述目标数量得到的；根据接收到的分别来自于若干个终端的各个目标梯度，得到训练后的模型参数，包括：针对于任一终端发送的目标梯度进行第二恢复处理，得到第二恢复处理结果；将所述若干个终端发送的对应于同一组参数的第二恢复处理结果进行聚合，得到该组参数的可用梯度值；根据所述模型的各个参数的当前值和对应的可用梯度值，更新该参数。9.一种基于隐私保护的模型联合训练方法，所述联合训练由服务器和若干个终端共同进行，所述