一种基于隐私保护的数据处理方法、装置及设备.pdf

(19)中华人民共和国国家知识产权局(12)发明专利申请(10)申请公布号CN112800468A(43)申请公布日2021.05.14(21)申请号202110187936.X(22)申请日2021.02.18(71)申请人支付宝（杭州）信息技术有限公司地址310000浙江省杭州市西湖区西溪路556号8层B段801-11(72)发明人曹佳炯(74)专利代理机构北京国昊天诚知识产权代理有限公司11315代理人朱文杰(51)Int.Cl.G06F21/62(2013.01)G06K9/00(2006.01)G06K9/62(2006.01)G06N3/04(2006.01)G06N3/08(2006.01)权利要求书4页说明书22页附图5页(54)发明名称一种基于隐私保护的数据处理方法、装置及设备(57)摘要本说明书实施例公开了一种基于隐私保护的数据处理方法、装置及设备，该方法包括：获取待检测的预设类型的用户隐私数据，并获取待测试的目标模型，目标模型包括一个或多个网络层；将用户隐私数据输入到目标模型中，确定目标模型中的网络层针对用户隐私数据的梯度，并将梯度输入到预先训练的梯度判别模型中，得到用户隐私数据已被用于训练目标模型的第一概率；分别通过多种不同的数据处理规则对用户隐私数据进行处理，得到不同的数据处理规则对应的处理后的数据，并根据不同的处理后的数据与用户隐私数据之间的相似度，确定不同的处理后的数据与用户隐私数据之间的差异度；根据第一概率和差异度，确定用户隐私数据是否已被用于进行模型训练。CN112800468ACN112800468A权利要求书1/4页1.一种基于隐私保护的数据处理方法，所述方法包括：获取待检测的预设类型的用户隐私数据，并获取待测试的目标模型，所述目标模型是通过所述预设类型的用户隐私样本数据进行模型训练得到，所述目标模型包括一个或多个网络层；将所述用户隐私数据输入到所述目标模型中，确定所述目标模型中的网络层针对所述用户隐私数据的梯度，并将所述梯度输入到预先训练的梯度判别模型中，得到所述用户隐私数据已被用于训练所述目标模型的第一概率，所述梯度判别模型是通过所述预设类型的用户隐私样本数据和所述用户隐私样本数据对应的第一样本梯度，以及所述预设类型的用户隐私样本数据之外的数据对应的第二样本梯度进行模型训练得到；分别通过多种不同的数据处理规则对所述用户隐私数据进行处理，得到不同的所述数据处理规则对应的处理后的数据，并根据不同的处理后的数据与所述用户隐私数据之间的相似度，确定不同的处理后的数据与所述用户隐私数据之间的差异度；根据所述第一概率和所述差异度，确定所述用户隐私数据是否已被用于进行模型训练。2.根据权利要求1所述的方法，所述将所述用户隐私数据输入到所述目标模型中，确定所述目标模型中的网络层针对所述用户隐私数据的梯度，包括：将所述用户隐私数据输入到所述目标模型中，得到所述目标模型中的网络层针对所述用户隐私数据的初始梯度，所述初始梯度由多维向量构成；对每个所述网络层对应的初始梯度中的多维向量进行向量压缩处理，得到每个所述网络层对应的压缩向量；对所述目标模型中的网络层对应的压缩向量进行扁平化Flatten处理，得到所述目标模型中的网络层对应的一维梯度向量；基于所述目标模型中的网络层对应的一维梯度向量，确定所述目标模型中的网络层针对所述用户隐私数据的梯度。3.根据权利要求2所述的方法，所述目标模型中的每个网络层针对所述用户隐私数据的初始梯度由三维向量(Hi，Wi，Ci)构成，i表示第i个网络层，所述对每个所述网络层对应的初始梯度中的多维向量进行向量压缩处理，得到每个所述网络层对应的压缩向量，包括：针对每个所述网络层对应的初始梯度的任意空间位置(n，m)，得到相应的向量(n，n，Ci)，其中，0≤n≤Hi‑1，0≤m≤Wi‑1；获取所述向量(n，n，Ci)对应的最大值，并使用所述最大值表示所述向量(n，n，Ci)，得到每个所述网络层对应的压缩向量，所述压缩向量为二维向量。4.根据权利要求1所述的方法，所述方法还包括：基于预设的分类算法构建所述梯度判别模型的模型架构；获取所述预设类型的用户隐私样本数据和所述用户隐私样本数据对应的第一样本梯度，以及所述预设类型的用户隐私样本数据之外的数据对应的第二样本梯度；通过所述用户隐私样本数据、所述第一样本梯度和所述第二样本梯度，并使用交叉熵CrossEntropy损失函数对所述梯度判别模型进行训练，得到训练后的所述梯度判别模型。5.根据权利要求4所述的方法，所述分类算法为二分类算法，所述梯度判别模型的模型2CN112800468A权利要求书2/4页架构包括多层感知机。6.根据权利要求4所述的方法，所述用户隐私样本数据的数据数量与所述第二样本梯度对应的数据数量相同。7.根据权利要求1所述的