一种基于联邦学习的边缘隐私保护方法.pdf

(19)中华人民共和国国家知识产权局(12)发明专利申请(10)申请公布号CN114169010A(43)申请公布日2022.03.11(21)申请号202111514239.7(22)申请日2021.12.13(71)申请人安徽理工大学地址232001安徽省淮南市山南新区泰丰大街168号(72)发明人吴彩葛斌张天浩沐里亭(51)Int.Cl.G06F21/62(2013.01)G06N20/00(2019.01)权利要求书2页说明书4页附图2页(54)发明名称一种基于联邦学习的边缘隐私保护方法(57)摘要本发明涉及一种基于联邦学习的边缘隐私保护方法，该方法包括：边缘设备从服务器下载模型，初始化联邦训练模型，边缘设备利用本地数据训练模型；使用本地化差分隐私技术对本地模型的梯度参数添加扰动，将加密后的参数上传服务器；服务器收到经过本地差分隐私加密的本地模型参数进行聚合，更新全局模型参数。本文将本地差分隐私应用于联邦学习，可在保障边缘用户安全共享数据时，完成边缘设备中数据的本地化训练和聚合模型，全程无需上传数据，确保边缘用户数据的隐私安全，实现在保证模型准确率的同时达到保护模型参数的目的。CN114169010ACN114169010A权利要求书1/2页1.一种基于联邦学习的边缘隐私保护方法，其特征在于，所述方法包括：边缘设备从服务器下载模型，初始化联邦训练模型，边缘设备利用本地数据训练模型；使用本地化差分隐私技术对本地模型的梯度参数添加扰动，将加密后的参数上传服务器；服务器收到经过本地差分隐私加密的本地模型参数进行聚合，更新全局模型参数。2.根据权利要求1所述的基于联邦学习的边缘隐私保护方法，其特征在于，所述方法还包括：S1,边缘设备从服务器下载模型，传递初始参数，初始化联邦训练模型，边缘设备利用本地数据训练模型；S2,使用本地化差分隐私技术对本地模型的梯度参数添加扰动，对本地模型参数进行模糊，通过调整隐私参数ε控制隐私损失，将加密后的参数上传服务器；S3,服务器收到经过本地差分隐私加密的本地模型参数进行聚合，更新全局模型参数；S4,更新后的模型参数发送给参与训练的边缘设备，边缘设备更新自身的本地模型，直至损失函数收敛。3.根据权利要求2所述的基于联邦学习的边缘隐私保护方法，其特征在于，所述方法全程无需上传数据，保护边缘用户数据的隐私安全。4.根据权利要求2所述的基于联邦学习的边缘隐私保护方法，其特征在于，步骤S2中，所述本地差分隐私的隐私参数ε满足Pr[S(v)＝v*]≤eε*[S(v′)＝v*]，比较任意两条输入记录的输出结果的相似性。5.根据权利要求2所述的基于联邦学习的边缘隐私保护方法，其特征在于，所述方法的目标是在边缘网络的场景中训练一个全局模型K(w)：最小化目标函数F*(w)，从而提供强大的隐私保证，F*(w)为对于每个用户Ui拥有的数据集Di的损失函数为：其中fj(w，Di)是为模型参数w的第j个数据样本(xi，yi)的损失函数。6.根据权利要求1所述的基于联邦学习的边缘隐私保护方法，其特征在于，所述的方法通常采用随机梯度下降(SGD)算法，即通过本地客户端模型训练的损失函数，乘以固定的学习率ρ，计算出新一轮的权重更新。因此，本地客户端的模型权重更新如下:第t轮通信中心服务器的模型聚合更新如下:7.根据权利要求1所述的基于联邦学习的边缘隐私保护方法，其特征在于，所述方法还包括：2CN114169010A权利要求书2/2页在本地差分隐私中采取入随机响应机制进行加密，通过控制随机化概率P控制隐私保护程度。为了满足ε‑本地化差分隐私的要求,随机化概率为:ε被称为隐私预算，ε值越小，算法对用户隐私保护程度越高。ε可以衡量DP算法对隐私的损失程度，一般情况下，隐私预算值的高低影响隐私损失程度的大小。当隐私预算的值逐渐增高时，隐私保护对象的准确率随之增加，这将造成受保护对象的隐私的损失程度增大的结果。3CN114169010A说明书1/4页一种基于联邦学习的边缘隐私保护方法技术领域[0001]本发明涉及领域数据安全和隐私保护技术领域，具体而言涉及一种基于联邦学习的边缘隐私保护方法。背景技术[0002]大数据时代下，物联网设备不断激增，网络中的数据呈爆炸式增长。传统集中式处理数据的云计算逐渐无法满足联网设备的需求，在这种背景下，分布式学习的边缘计算应运而生。边缘计算与机器学习的结合，极大地推动了边缘计算的应用和发展。当大量的机器学习服务成为日常生活中不可或缺的一部分时，需收集更多的用户数据，无法确保用户隐私数据的安全。所以，必须要采取相应的措施去保护用户的隐私。但标准的机器学习方法往往没有过多考虑隐私方面问题，而匿名化方法在保护隐私方面的力度通常是不够的。[0003]边缘计算作为新兴数据服务平台，为物联网中的设备带来一定的存储