一种基于差分隐私的深度学习模型隐私保护方法.pdf

(19)国家知识产权局(12)发明专利申请(10)申请公布号CN115935436A(43)申请公布日2023.04.07(21)申请号202310037325.6(22)申请日2023.01.10(71)申请人杭州电子科技大学地址310018浙江省杭州市钱塘新区白杨街道2号大街1158号(72)发明人李尤慧子陈艺超殷昱煜梁婷婷李玉万健(51)Int.Cl.G06F21/62(2013.01)G06N20/00(2019.01)权利要求书3页说明书6页附图1页(54)发明名称一种基于差分隐私的深度学习模型隐私保护方法(57)摘要本发明公开一种基于差分隐私的深度学习模型隐私保护方法，包括：步骤1、构建深度学习模型；步骤2、初始化模型参数；步骤3、训练数据集中随机采样；步骤4、计算动态更新的梯度裁剪阈值Ct；步骤5、获得第t次迭代的样本梯度值；步骤6、更新第t次迭代每个样本的优化梯度值；步骤7、对优化梯度值进行裁剪；步骤8、得到加噪梯度值步骤9、计算t次迭代的累计隐私损失；步骤10、更新训练迭代次数。该方法采用非线性指数衰减以实现添加噪声量的限制和收敛速度的提升，在梯度更新部分使用学习率控制变量来实现动量超参数的自适应更新，提升模型训练的收敛速度，减少模型优化的迭代次数，实现深度学习模型在相同的隐私预算下更高的准确性。CN115935436ACN115935436A权利要求书1/3页1.一种基于差分隐私的深度学习模型隐私保护方法，其特征在于，该方法包括如下步骤：步骤1、构建深度学习模型，给定训练数据集，输入学习率、噪声参数、梯度裁剪阈值；步骤2、初始化训练迭代次数t＝1，初始化模型参数；步骤3、以L/N的概率从大小为N的训练数据集中随机采样，作为第t次迭代的训练样本Lt；步骤4、根据非线性指数衰减公式计算动态更新的梯度裁剪阈值Ct；步骤5、对于每个样本，使用深度学习模型使用的损失函数对第t次迭代的模型优化参数θt求偏导数，获得第t次迭代的样本梯度值；步骤6、更新第t次迭代每个样本的优化梯度值；步骤7、对优化梯度值进行裁剪；步骤8、对Lt中裁剪后的优化梯度值进行求和，加入符合均值为0，标准差为σ·Ct的高斯分布的高斯噪声，再对其取平均值，得到加噪梯度值步骤9、更新第t次迭代的模型优化参数θt，并使用隐私会计方法计算t次迭代的累计隐私损失；步骤10、更新训练迭代次数，判断是否完成预定训练迭代次数。2.根据权利要求1所述的一种基于差分隐私的深度学习模型隐私保护方法，其特征在于，所述步骤4中，梯度裁剪阈值Ct的计算方式为：其中，C为梯度裁剪阈值初始值，t为当前迭代次数，T为预定训练迭代次数。3.根据权利要求1所述的一种基于差分隐私的深度学习模型隐私保护方法，其特征在于，所述步骤5中，第t次迭代的样本梯度值的计算方式为：其中，θt为第t次迭代的模型优化参数，xi为第i个样本。4.根据权利要求1所述的一种基于差分隐私的深度学习模型隐私保护方法，其特征在于，所述步骤6具体按照以下步骤实施：步骤6.1、更新有偏二阶矩估计值，得到vt，计算方式为：其中，β2为二阶矩估计的指数衰减率；步骤6.2、修正二阶矩估计偏差，得到计算方式为：步骤6.3、对二阶矩估计值求平均，得到计算方式为：2CN115935436A权利要求书2/3页步骤6.4、更新一阶矩估计的指数衰减率，得到β1,t，计算方式为：其中，β0、a均为预先设定的超参数，使用二阶矩估计值来实现β1,t的自适应更新，同时为了避免超大惯性，对β1,t进行裁剪操作；步骤6.5、更新有偏一阶矩估计值，得到mt，计算方式为：mt←β1,t·mt‑1+(1‑β1,t)·gt(xi)步骤6.6、修正一阶矩估计偏差，得到计算方式为：′步骤6.7、更新优化梯度值，得到gt(xi)5.根据权利要求1所述的一种基于差分隐私的深度学习模型隐私保护方法，其特征在于，所述步骤7中，对优化梯度值进行裁剪表示为：6.根据权利要求5所述的一种基于差分隐私的深度学习模型隐私保护方法，其特征在于，所述步骤7中，具体按照以下步骤实施：步骤7.1、将优化梯度值的L2范数与梯度裁剪阈值Ct进行比较；′′步骤7.2、若‖gt(xi)‖2≤Ct，则第t次迭代的优化梯度值gt(xi)保持不变；′′步骤7.3、若‖gt(xi)‖2>Ct，则将第t次迭代的优化梯度值gt(xi)更′新为梯度裁剪阈值Ct，即gt(xi)＝Ct；步骤7.4、根据步骤7.1和步骤7.2得到梯度裁剪操作后的优化梯度值7.根据权利要求1所述的一种基于差分隐私的深度学习模型隐私保护方法，其特征在于，所述步骤8中，对裁剪后的优化梯度值添加噪声表示为：其中，表示概率密度函数服从均值为0，标准差为σ·Ct的高斯分布的高斯噪声，σ为噪声参数，Ct为梯度裁剪阈值，I为维数与样本数量和梯度数