联邦学习梯度攻击防御方法、系统、设备及介质.pdf

(19)国家知识产权局(12)发明专利申请(10)申请公布号CN115222057A(43)申请公布日2022.10.21(21)申请号202210569676.7H04L67/01(2022.01)(22)申请日2022.05.24(71)申请人西安交通大学地址710049陕西省西安市咸宁西路28号(72)发明人李建星卞文杰杨和王子钊夏晶(74)专利代理机构西安通大专利代理有限责任公司61200专利代理师陈翠兰(51)Int.Cl.G06N20/00(2019.01)G06N3/08(2006.01)G06N3/04(2006.01)G06K9/62(2022.01)G06F21/62(2013.01)权利要求书2页说明书10页附图2页(54)发明名称联邦学习梯度攻击防御方法、系统、设备及介质(57)摘要本发明公开了一种联邦学习梯度攻击防御方法、系统、设备及介质，包括：利用本地数据对模型进行训练，得到本地模型，计算得到本地梯度；获联邦学习的压缩阈值，计算得到梯度掩码矩阵；根据梯度掩码矩阵，对本地梯度进行压缩，得到压缩后的梯度；对更新后的梯度掩码矩阵，添加噪声，得到添加有噪声的梯度掩码矩阵；根据压缩后的梯度和所述添加有噪声的梯度掩码矩阵，得到添加有噪声的梯度；对添加有噪声的梯度，执行聚合算法，得到全局梯度；根据全局梯度，对本地模型进行更新，并开始下一轮模型训练；本发明结合差分隐私技术，利用添加有噪声的梯度能够有效防止梯度攻击；通过全局矩阵，实现对添加的噪声量的控制，有效提高了模型的精度。CN115222057ACN115222057A权利要求书1/2页1.一种联邦学习梯度攻击防御方法，其特征在于，方法包括：利用本地数据对模型进行训练，得到本地模型，并计算得到本地梯度；获联邦学习的压缩阈值，计算得到梯度掩码矩阵；根据所述梯度掩码矩阵，对所述本地梯度进行压缩，得到压缩后的梯度；对所述梯度掩码矩阵进行更新，得到更新后的梯度掩码矩阵；对所述更新后的梯度掩码矩阵，添加噪声，得到添加有噪声的梯度掩码矩阵；根据所述压缩后的梯度和所述添加有噪声的梯度掩码矩阵，得到添加有噪声的梯度；对所述添加有噪声的梯度，执行聚合算法，得到全局梯度；根据所述全局梯度，对所述本地模型进行更新，并开始下一轮模型训练。2.根据权利要求1所述的一种联邦学习梯度攻击防御方法，其特征在于，利用本地数据对模型进行训练，得到本地模型的过程，具体如下：通过参与联邦学习的中央服务器，确定参与联邦学习的客户端数量、设定联邦学习和客户端本地训练的超参数；通过参与联邦学习的中央服务器初始化模型，将模型发送至所有参与联邦学习的客户端，并确定参加当前训练轮次的客户端；通过所述选中参加当前训练轮次的客户端，利用本地数据对所述模型进行训练，得到本地模型。3.根据权利要求1所述的一种联邦学习梯度攻击防御方法，其特征在于，获联邦学习的压缩阈值，计算得到梯度掩码矩阵的过程，具体如下：利用参与联邦学习的客户端，计算联邦学习当前训练轮次的压缩阈值；根据所述联邦学习当前轮次的压缩阈值，计算得到当前训练轮次的梯度掩码矩阵；根据所述梯度掩码矩阵，对所述本地梯度进行压缩，得到压缩后的梯度的过程，具体如下：将所述梯度掩码矩阵和所述本地梯度进行矩阵的点乘操作，得到所述压缩后的梯度。4.根据权利要求1所述的一种联邦学习梯度攻击防御方法，其特征在于，对所述梯度掩码矩阵进行更新，得到更新后的梯度掩码矩阵的过程，具体如下：利用参与联邦学习的中央服务器，对所有参与联邦学习的客户端上传的所述梯度掩码矩阵进行相加，并根据预设梯度掩码矩阵的全局阈值，计算得到全局掩码矩阵；根据所述全局掩码矩阵，对所述梯度掩码矩阵进行更新，得到更新后的梯度掩码矩阵。5.根据权利要求1所述的一种联邦学习梯度攻击防御方法，其特征在于，对所述更新后的梯度掩码矩阵添加噪声，得到添加有噪声的梯度掩码矩阵的过程中，所述噪声为拉普拉斯噪声或高斯噪声。6.根据权利要求1所述的一种联邦学习梯度攻击防御方法，其特征在于，所述全局梯度为：其中，为全局梯度；为第i个客户端上传的添加有噪声的梯度；N为参与联邦学习的客户端数量。2CN115222057A权利要求书2/2页7.根据权利要求1所述的一种联邦学习梯度攻击防御方法，其特征在于，根据所述全局梯度，对所述本地模型进行更新的过程，具体为：其中，Wt+1为更新后的本地模型；Wt为当前轮次下的本地模型；η为学习率；t为联邦学习的当前轮次。8.一种联邦学习梯度攻击防御系统，其特征在于，包括：本地训练模块，用于利用本地数据对模型进行训练，得到本地模型，并计算得到本地梯度；梯度掩码矩阵模块，用于获联邦学习的压缩阈值，计算得到梯度掩码矩阵；梯度压缩模块，用于根据所述梯度掩码矩阵，对所述本地梯度进行压缩，得到压缩后的梯度；梯度掩码矩阵更新