基于差分隐私的异常检测模型的训练方法及装置.pdf

(19)中华人民共和国国家知识产权局(12)发明专利申请(10)申请公布号CN111539769A(43)申请公布日2020.08.14(21)申请号202010343419.2(22)申请日2020.04.27(71)申请人支付宝（杭州）信息技术有限公司地址310000浙江省杭州市西湖区西溪路556号8层B段801-11(72)发明人熊涛(74)专利代理机构北京亿腾知识产权代理事务所(普通合伙)11309代理人陈霁周良玉(51)Int.Cl.G06Q30/02(2012.01)G06K9/62(2006.01)权利要求书4页说明书13页附图4页(54)发明名称基于差分隐私的异常检测模型的训练方法及装置(57)摘要本说明书实施例提供一种基于差分隐私的异常检测模型的训练方法，包括：将训练集中任意样本的第一向量输入自编码网络，通过编码器输出降维的第二向量，通过解码器输出复原的第三向量。然后，基于第二向量构建评估向量，输入到评估网络，并获取评估网络输出的该样本属于混合高斯分布中K个子高斯分布的子分布概率。然后，根据训练集中各样本对应的评估向量和子分布概率，得到该任意样本在混合高斯分布中的第一概率。据此确定预测损失，其与各样本对应的第一概率负相关，且与第一向量和第三向量之间的相似度负相关。进而，利用差分隐私的方式，在基于预测损失得到的原始梯度上添加噪声，利用包含噪声的梯度，调整异常检测模型的模型参数。CN111539769ACN111539769A权利要求书1/4页1.一种基于差分隐私的异常检测模型的训练方法，所述异常检测模型包括自编码网络和评估网络，所述自编码网络包括编码器和解码器；所述方法包括：将训练集中任意业务样本对应的第一特征向量输入所述自编码网络，通过所述编码器输出对所述第一特征向量降维的第二特征向量，通过所述解码器输出基于所述第二特征向量对所述第一特征向量进行复原的第三特征向量；基于所述第二特征向量，构建评估向量，输入所述评估网络；获取所述评估网络输出的该任意业务样本属于混合高斯分布中K个子高斯分布的子分布概率；根据所述训练集中各个业务样本对应的所述评估向量和所述子分布概率，得到该任意业务样本在所述混合高斯分布中的第一概率；确定所述训练集对应的预测损失，所述预测损失与所述各个业务样本对应的所述第一概率负相关，且与所述各个业务样本对应的第一特征向量和第三特征向量之间的相似度负相关；利用差分隐私的方式，在基于所述预测损失得到的原始梯度上添加噪声，利用包含噪声的梯度，调整所述异常检测模型的模型参数。2.根据权利要求1所述的方法，其中，基于所述第二特征向量，构建评估向量，包括：将所述第二特征向量作为所述评估向量。3.根据权利要求1所述的方法，其中，基于所述第二特征向量，构建评估向量，包括：基于所述第一特征向量和所述第三特征向量，得到重构误差向量；将所述第二特征向量和所述重构误差向量相组合，作为所述评估向量。4.根据权利要求1所述的方法，其中，根据所述训练集中各个业务样本对应的所述评估向量和所述子分布概率，得到该任意业务样本在所述混合高斯分布中的第一概率，包括：根据所述各个业务样本的所述评估向量和所述子分布概率，确定所述K个子高斯分布中各个子高斯分布的均值、协方差，以及该子高斯分布在所述K个子高斯分布中的出现概率；根据各个子高斯分布的均值、协方差和出现概率，重构所述混合高斯分布；将所述任意业务样本的评估向量代入重构的混合高斯分布，得到所述第一概率。5.根据权利要求1所述的方法，其中，确定所述训练集对应的预测损失，包括：根据所述各个业务样本对应的所述第一概率，确定第一损失项，所述第一损失项与各个业务样本的所述第一概率负相关；根据所述各个业务样本对应的第一特征向量和第三特征向量之间的相似度，确定第二损失项，所述第二损失项与所述相似度负相关；根据预设权重因子，对所述第一损失项和第二损失项加权求和，得到所述预测损失。6.根据权利要求1所述的方法，其中，利用差分隐私的方式，在基于所述预测损失得到的原始梯度上添加噪声，包括：根据所述预测损失，确定使得预测损失减小的原始梯度；基于预设的裁剪阈值，对所述原始梯度进行裁剪，得到裁剪梯度；利用基于所述裁剪阈值确定的高斯分布，确定用于实现差分隐私的高斯噪声，其中，所述高斯分布的方差与所述裁剪阈值的平方正相关；2CN111539769A权利要求书2/4页将所述高斯噪声与所述裁剪梯度叠加，得到所述包含噪声的梯度。7.根据权利要求1所述的方法，其中，利用差分隐私的方式，在基于所述预测损失得到的原始梯度上添加噪声，包括：通过梯度反向传播，分别确定对应于所述评估网络的第一原始梯度，和对应于所述自编码网络的第二原始梯度；利用差分隐私的方式，在所述第一原始梯度和第二原始梯度中分别添加噪声，得到第一噪声梯度和第二噪声梯度