联邦学习模型的训练方法、装置、电子设备和存储介质.pdf

(19)中华人民共和国国家知识产权局(12)发明专利申请(10)申请公布号CN113824677A(43)申请公布日2021.12.21(21)申请号202011584106.2(22)申请日2020.12.28(71)申请人京东科技控股股份有限公司地址100176北京市北京经济技术开发区科创十一街18号C座2层221室(72)发明人陈忠韩雨锦王虎黄志翔彭南博(74)专利代理机构北京清亦华知识产权代理事务所(普通合伙)11201代理人张大威(51)Int.Cl.H04L29/06(2006.01)G06N20/20(2019.01)权利要求书5页说明书16页附图4页(54)发明名称联邦学习模型的训练方法、装置、电子设备和存储介质(57)摘要本申请提出一种联邦学习模型的训练方法、装置和电子设备，其中，训练方法包括：与数据提供方服务器进行样本对齐；计算当前样本的梯度信息，并发送至数据提供方服务器；接收数据提供方服务器提供的公钥、假消息集以及梯度返回信息；根据梯度返回信息生成目标分裂点编号，并基于公钥、假消息集和目标分裂点编号生成密文，并将密文发送至数据提供方服务器；以及接收数据提供方服务器发送的每个假消息对应的解密运算值，并根据每个假消息对应的解密运算值进行节点分裂。由此，能够有效地防止模型提取攻击和模型逆向攻击，实现了保护业务方的模型和训练数据的安全，也能防止数据提供方的信息泄露，保护了数据提供方的数据安全。CN113824677ACN113824677A权利要求书1/5页1.一种联邦学习模型的训练方法，其特征在于，所述方法包括：与数据提供方服务器进行样本对齐；计算当前样本的梯度信息，并发送至所述数据提供方服务器；接收所述数据提供方服务器提供的公钥、假消息集以及梯度返回信息，其中，所述假消息集中包括至少一个假消息；根据所述梯度返回信息生成目标分裂点编号，并基于所述公钥、所述假消息集和所述目标分裂点编号生成密文，并将所述密文发送至所述数据提供方服务器；以及接收所述数据提供方服务器发送的每个所述假消息对应的解密运算值，并根据每个所述假消息对应的解密运算值进行节点分裂。2.如权利要求1所述的联邦学习模型的训练方法，其特征在于，所述计算当前样本的梯度信息，包括：生成所述当前样本的一阶梯度值和二阶梯度值；对所述一阶梯度值和所述二阶梯度值进行同态加密以生成所述梯度信息。3.如权利要求1所述的联邦学习模型的训练方法，其特征在于，所述梯度返回信息为多个，且每个所述梯度返回信息对应有相应的编号，其中，所述根据所述梯度返回信息生成目标分裂点编号，包括：根据所述多个梯度返回信息分别生成对应的多个信息增益；从所述多个信息增益之中选择最大信息增益，并将所述最大信息增益对应的编号作为所述目标分裂点编号。4.如权利要求1所述的联邦学习模型的训练方法，其特征在于，所述基于所述公钥、所述假消息集和所述目标分裂点编号生成密文，包括：根据所述目标分裂点编号和混淆分裂点编号，生成特征混淆字典，其中，所述混淆分裂点编号为从所述梯度返回信息对应有相应的编号中选取的至少一个分裂点编号；生成随机数，并根据所述特征混淆字典、所述公钥以及所述假消息集对所述随机数进行加密以生成所述密文。5.如权利要求4所述的联邦学习模型的训练方法，其特征在于，所述根据所述特征混淆字典和所述公钥、以及所述假消息集对所述随机数进行加密以生成所述密文，包括：利用所述公钥对所述随机数加密，得到中间密文；根据所述特征混淆字典，从所述假消息集中，获取目标假消息；基于所述目标假消息对所述中间密文进行处理，得到所述密文。6.如权权利要求5所述的联邦学习模型的训练方法，其特征在于，所述根据所述特征混淆字典，从所述假消息集中，获取目标假消息，包括：获取所述目标分裂点编号的字典索引值；根据所述字典索引值，从所述假消息集中选取所述目标假消息。7.如权利要求1‑6中任一项所述的联邦学习模型的训练方法，其特征在于，所述根据每个所述假消息对应的解密运算值进行节点分裂，包括：根据每个所述假消息对应的解密运算值，以及所述随机数生成分裂空间信息；根据所述当前样本和所述分裂空间信息进行节点分裂。8.一种联邦学习模型的训练方法，其特征在于，所述方法包括：2CN113824677A权利要求书2/5页与业务方服务器进行样本对齐；接收所述业务方服务器发送的当前所训练的样本的梯度信息，并根据所述梯度信息获取梯度返回信息；向所述业务方服务器发送公钥、假消息集以及所述梯度返回信息，其中，所述假消息集中包括至少一个假消息；接收所述业务方服务器发送的基于所述公钥、所述假消息集和目标分裂点编号生成的密文，其中，所述目标分裂点编号根据所述梯度返回信息生成；以及对所述密文进行解密，得到每个所述假消息对应的解密运算值，并发送给所述业务方服务器。9.如权利要求8