基于差分隐私的数据生成系统的训练方法及装置.pdf

(19)中华人民共和国国家知识产权局(12)发明专利申请(10)申请公布号CN113642731A(43)申请公布日2021.11.12(21)申请号202111082998.0(22)申请日2020.05.06(62)分案原申请数据202010373419.72020.05.06(71)申请人支付宝（杭州）信息技术有限公司地址310000浙江省杭州市西湖区西溪路556号8层B段801-11(72)发明人熊涛(74)专利代理机构北京亿腾知识产权代理事务所(普通合伙)11309代理人陈霁周良玉(51)Int.Cl.G06N3/08(2006.01)G06N3/04(2006.01)G06F21/62(2013.01)权利要求书2页说明书11页附图3页(54)发明名称基于差分隐私的数据生成系统的训练方法及装置(57)摘要本说明书实施例提供一种基于差分隐私的数据生成系统的训练方法和装置，该数据生成系统包括自编码网络和判别器，方法包括，将真实样本输入自编码网络，得到复原样本；根据真实样本和复原样本的比对，确定样本重构损失。此外，通过自编码网络生成合成样本。将真实样本和合成样本分别输入判别器，得到其分别属于真实样本的第一概率和第二概率。针对判别器，以减小第一损失为目标，以差分隐私的方式在梯度上添加噪声，以调整判别器参数，其中第一损失负相关于第一概率，正相关于第二概率。针对自编码网络，以减小第二损失为目标，在梯度上添加噪声，以调整自编码网络参数，其中第二损失与样本重构损失正相关，与第一损失负相关。CN113642731ACN113642731A权利要求书1/2页1.一种基于差分隐私的数据生成系统的训练方法，所述数据生成系统包括自编码网络和判别器，所述方法包括：将第一真实样本输入所述自编码网络，得到第一复原样本；根据所述第一真实样本和所述第一复原样本的比对，确定样本重构损失；通过所述自编码网络基于噪声生成第一合成样本；将第一真实样本输入所述判别器，得到其属于真实样本的第一概率；以及，将所述第一合成样本输入所述判别器，得到其属于真实样本的第二概率；针对所述判别器对应的第一参数，利用差分隐私的方式，在以减小第一预测损失为目标得到的梯度上添加噪声，根据得到的第一噪声梯度调整所述第一参数，其中所述第一预测损失负相关于所述第一概率，正相关于所述第二概率；针对所述自编码网络对应的第二参数，利用差分隐私的方式，在以减小第二预测损失为目标得到的梯度上添加噪声，根据得到的第二噪声梯度调整所述第二参数，其中所述第二预测损失与所述样本重构损失正相关，与所述第一概率正相关，且与所述第二概率负相关。2.根据权利要求1所述的方法，其中，所述自编码网络包括编码器，生成器和解码器；所述编码器实现为第一多层感知机，其各层神经元数目逐层递减；所述解码器实现为第二多层感知机，其各层神经元数目逐层递增。3.根据权利要求1所述的方法，其中，确定样本重构损失，包括：确定所述第一真实样本对应的第一原始向量和所述第一复原样本对应的第一复原向量之间的向量距离；将所述样本重构损失确定为，正相关于所述向量距离。4.根据权利要求1所述的方法，其中，在以减小第一预测损失为目标得到的梯度上添加噪声，根据得到的第一噪声梯度调整所述第一参数，包括：针对所述第一参数，确定使得所述第一预测损失减小的第一原始梯度；基于预设的第一裁剪阈值，对所述第一原始梯度进行裁剪，得到第一裁剪梯度；利用基于所述第一裁剪阈值确定的第一高斯分布，确定用于实现差分隐私的第一高斯噪声；将所述第一高斯噪声与所述第一裁剪梯度叠加，得到所述第一噪声梯度。5.根据权利要求1所述的方法，其中，在以减小第二预测损失为目标得到的梯度上添加噪声，根据得到的第二噪声梯度调整所述第二参数，包括：针对所述第二参数，确定使得所述第二预测损失减小的第二原始梯度；基于预设的第二裁剪阈值，对所述第二原始梯度进行裁剪，得到第二裁剪梯度；利用基于所述第二裁剪阈值确定的第二高斯分布，确定用于实现差分隐私的第二高斯噪声；将所述第二高斯噪声与所述第二裁剪梯度叠加，得到所述第二噪声梯度。6.根据权利要求2所述的方法，其中，所述第二参数包括，编码器参数，生成器参数和解码器参数；在以减小第二预测损失为目标得到的梯度上添加噪声，根据得到的第二噪声梯度调整所述第二参数，包括：通过梯度反向传播，分别确定对应于所述解码器参数的第三原始梯度，对应于所述编2CN113642731A权利要求书2/2页码器参数的第四原始梯度，和对应于所述生成器参数的第五原始梯度；利用差分隐私的方式，在所述第三原始梯度、第四原始梯度和第五原始梯度中分别添加噪声，得到对应的第三噪声梯度、第四噪声梯度和第五噪声梯度；利用所述第三噪声梯度，调整所述解码器参数；利用所述第四噪声梯度，调整所述编码器参数；利用所述第五噪声