基于差分隐私的联邦学习方法、装置及电子设备.pdf

(19)中华人民共和国国家知识产权局(12)发明专利申请(10)申请公布号CN112541592A(43)申请公布日2021.03.23(21)申请号202011409580.1(22)申请日2020.12.06(71)申请人支付宝（杭州）信息技术有限公司地址310000浙江省杭州市西湖区西溪路556号8层B段801-11(72)发明人熊涛吴若凡漆远(74)专利代理机构北京亿腾知识产权代理事务所(普通合伙)11309代理人陈霁周良玉(51)Int.Cl.G06N20/00(2019.01)G06F21/62(2013.01)权利要求书3页说明书11页附图3页(54)发明名称基于差分隐私的联邦学习方法、装置及电子设备(57)摘要本说明书实施例提供一种基于差分隐私的联邦学习方法及装置、电子设备，该方法应用于任一终端设备，包括多次迭代，每次迭代包括：基于训练数据和当前本地参数，确定待处理的第一梯度向量，该第一梯度向量的欧式范数小于等于预设范数，对第一梯度向量进行多级量化处理，得到第二梯度向量，在第二梯度向量的向量空间中，基于第二梯度向量，生成第一向量集合和第二向量集合，进行满足差分隐私的采样，以从第一向量集合或第二向量集合中随机采样出第三梯度向量。对第三梯度向量进行归一化，得到目标梯度向量，并向服务器上传目标梯度向量。能够提高联邦学习过程中的通讯效率，从而提高了联邦学习的效率。CN112541592ACN112541592A权利要求书1/3页1.一种基于差分隐私的联邦学习方法，所述联邦学习通过服务器和多个终端设备进行，所述方法应用于任一终端设备，所述方法包括多次迭代，其中，每次迭代包括：从本地训练集中选取训练数据，并获取服务器发送的当前本地参数；基于所述训练数据和所述当前本地参数，确定待处理的第一梯度向量，所述第一梯度向量的欧式范数小于等于预设范数U；对所述第一梯度向量进行多级量化处理，得到第二梯度向量；在所述第二梯度向量的向量空间中，基于所述第二梯度向量，生成第一向量集合和第二向量集合，使所述第一向量集合中的任一向量与所述第二梯度向量具有的相同向量分量的数量大于预设数量κ，使所述第二向量集合中的任一向量与所述第二梯度向量具有的相同向量分量的数量小于等于所述预设数量κ；从所述第一向量集合或所述第二向量集合中随机采样出第三梯度向量；其中，从所述第一向量集合和从所述第二向量集合中采样的概率分别为预设概率p和1‑p；其中，所述预设概率p大于等于0.5；并且，所述预设数量κ和所述预设概率p的设定使所述采样满足差分隐私；对所述第三梯度向量进行归一化，得到目标梯度向量，并向所述服务器上传所述目标梯度向量。2.根据权利要求1所述的方法，其中，所述对所述第一梯度向量进行多级量化处理，得到第二梯度向量，包括：将从‑U到U的区间范围平均分成多个子区间；确定所述第一梯度向量的各个分量的值在所述多个子区间中各自对应的各个目标子区间；基于预设的概率，随机选取所述各个目标子区间的两个端点中的任意一个端点，作为各个分量的修正值；基于所述各个分量的修正值，获取所述第二梯度向量。3.根据权利要求1所述的方法，其中，所述基于所述训练数据和所述当前本地参数，确定待处理的第一梯度向量，包括：基于所述训练数据和所述当前本地参数，确定当前本地梯度向量，所述当前本地梯度向量的欧式范数被规范到小于等于所述预设范数U；从所述当前本地梯度向量的分量中随机选取预设个数x个目标分量；确定本次迭代的当前梯度残差向量；获取所述当前梯度残差向量在所述目标分量的方向上的目标残差分量；基于所述目标分量和所述目标残差分量，确定所述第一梯度向量。4.根据权利要求3所述的方法，其中，首次迭代时，所述当前梯度残差向量为0；非首次迭代时，所述当前梯度残差向量为第一向量部分与预设的第一修正因子的乘积和第二向量部分之和；所述第一向量部分为上次迭代中的本地梯度向量除掉上次迭代中的目标分量以外的分量部分；所述第二向量部分为上次迭代中的梯度残差向量除掉上次迭代中的目标残差分量以外的分量部分。5.根据权利要求3所述的方法，其中，所述基于所述目标分量和所述目标残差分量，确定所述第一梯度向量，包括：2CN112541592A权利要求书2/3页确定目标旋转矩阵，所述目标旋转矩阵为正交矩阵；计算所述目标分量和预设的第二修正因子的乘积与所述目标残差分量之和，并利用所述目标旋转矩阵乘以所述计算的结果，得到所述第一梯度向量。6.根据权利要求5所述的方法，其中，所述确定目标旋转矩阵，包括：生成目标对角矩阵；所述目标对角矩阵的对角元素为0.5；获取目标沃尔什‑阿达玛矩阵；利用所述目标沃尔什‑阿达玛矩阵乘以所述目标对角矩阵，并除以所述预设个数x。7.一种基于差分隐私的联邦学习装置，所述联邦学习通过服务器和多个终端设备进行，所述装置应用于任