面向异构数据的本地差分隐私联邦学习训练方法及系统.pdf

(19)国家知识产权局(12)发明专利申请(10)申请公布号CN115935411A(43)申请公布日2023.04.07(21)申请号202211440994.X(22)申请日2022.11.17(71)申请人电子科技大学地址611731四川省成都市高新区(西区)西源大道2006号(72)发明人匡平许媛媛(74)专利代理机构成都华风专利事务所(普通合伙)51223专利代理师吴桂芝(51)Int.Cl.G06F21/62(2013.01)G06N20/00(2019.01)权利要求书2页说明书9页附图3页(54)发明名称面向异构数据的本地差分隐私联邦学习训练方法及系统(57)摘要本发明公开了一种面向异构数据的本地差分隐私联邦学习训练方法及系统，属于数据安全技术领域，包括以下步骤：接收服务器分发的初始模型及其初始化参数，对模型进行训练，得到局部模型；将局部模型归一化层的中间参数保存至本地；对局部模型的非归一化层中间参数进行梯度加密处理，并上传至服务器，便于服务器进行梯度聚合处理，进而更新全局模型。本发明将包含均值、方差等隐私信息的归一化层的中间参数保存至本地，不上传至服务器，降低了隐私泄露风险；同时，仅对非归一化层中间参数进行梯度加密处理，能够将噪声控制在较小范围内，降低了通信代价，能够有效改善由于全局模型和局部模型特征漂移出现的异构性，大大提升了模型的收敛速度。CN115935411ACN115935411A权利要求书1/2页1.一种面向异构数据的本地差分隐私联邦学习训练方法，其特征在于：所述方法以客户端作为执行主体，包括以下步骤：接收服务器分发的初始模型及模型初始化参数，利用本地数据集对模型进行训练，得到局部模型；将局部模型归一化层的中间参数保存至本地；对局部模型的非归一化层中间参数进行梯度加密处理，并上传至服务器，便于服务器根据各客户端上传的参数进行梯度聚合处理，进而更新全局模型。2.根据权利要求1所述的面向异构数据的本地差分隐私联邦学习训练方法，其特征在于：所述接收服务器分发的初始模型及模型初始化参数前还包括：向服务器发起注册请求，报头为名称、密码以及请求注册信息；服务器内预设有服务器IP、不同请求消息对应值、发送端口、接收端口、非归一化参数保存路径、隐私预算、超参数、本地数据路径；收到成功码，注册成功；反之，注册失败；注册成功的客户端向服务器发送模型请求报文，进而收到服务器分发的初始模型及模型初始化参数。3.根据权利要求1所述的面向异构数据的本地差分隐私联邦学习训练方法，其特征在于：所述梯度加密处理为对局部模型的非归一化层添加噪声扰动。4.一种面向异构数据的本地差分隐私联邦学习训练方法，其特征在于：所述方法以服务器作为执行主体，包括以下步骤：向对应客户端分发初始模型及模型初始化参数；接收客户端上传的局部模型的非归一化层中间参数，所述非归一化层中间参数为经过梯度加密处理的参数；根据各客户端上传的参数进行梯度聚合处理，进而更新全局模型。5.根据权利要求4所述的面向异构数据的本地差分隐私联邦学习训练方法，其特征在于：所述向对应客户端分发初始模型及模型初始化参数前还包括：建立与模型端的连接，获取初始化模型；服务器中存储有客户端名称、密码、不同请求消息对应值、IP地址、发送端口、接收端口、模型路径、参数保存路径、初始化模型参数路径、每次传递字节数；接收客户端发起的注册请求，并进行验证处理，验证通过，向客户端发送成功码，并基于客户端的模型请求报文向客户端分发初始模型及模型初始化参数。6.根据权利要求4所述的面向异构数据的本地差分隐私联邦学习训练方法，其特征在于：所述根据各客户端上传的参数进行梯度聚合处理前还包括：对上传的梯度值进行加权平均处理，再广播至各客户端。7.根据权利要求4所述的面向异构数据的本地差分隐私联邦学习训练方法，其特征在于：所述服务器接收到最小聚合所需客户端数或达到最长等待时间后，停止接收参数，进行梯度聚合处理，更新全局模型。8.根据权利要求4所述的面向异构数据的本地差分隐私联邦学习训练方法，其特征在于：所述服务器还用于执行日志记录及参数保存步骤，包括：对参与训练的客户端进行统计，确定未参与训练的客户端名单；2CN115935411A权利要求书2/2页对每轮更新的全局模型参数进行备份保存。9.一种面向异构数据的本地差分隐私联邦学习训练系统，其特征在于：所述系统包括客户端，客户端依次连接有加密模块和客户端通信模块；客户端用于接收服务器分发的初始模型及模型初始化参数，利用本地数据集对模型进行训练，得到局部模型，并将局部模型归一化层的中间参数保存至本地；加密模块用于对局部模型的非归一化层中间参数进行梯度加密处理；客户端通信模块用于将完成梯度加密处理的中间参数上传至服务器，便于服务器根据各客户端上传的参数进行梯度聚合处理，