基于层次k匿名身份替换的人脸生成隐私保护方法.pdf

(19)中华人民共和国国家知识产权局(12)发明专利申请(10)申请公布号CN114139198A(43)申请公布日2022.03.04(21)申请号202111431904.6G06N3/08(2006.01)(22)申请日2021.11.29(71)申请人杭州电子科技大学地址310018浙江省杭州市下沙高教园区2号大街(72)发明人匡振中陈超俞俊(74)专利代理机构杭州君度专利代理事务所(特殊普通合伙)33240代理人朱月芬(51)Int.Cl.G06F21/62(2013.01)G06V40/16(2022.01)G06V10/762(2022.01)G06K9/62(2022.01)G06N3/04(2006.01)权利要求书4页说明书9页附图2页(54)发明名称基于层次k匿名身份替换的人脸生成隐私保护方法(57)摘要本发明公开了一种基于层次k匿名身份替换的人脸生成隐私保护方法，首先进行人脸图像数据集预处理，然后构建层次k匿名生成对抗网络结构，构建层次k匿名的目标函数；再构建人脸替换生成对抗网络结构，构建人脸替换的目标函数；最后使用公开数据集进行训练及测试，得到训练好的层次k匿名生成对抗网络和人脸替换生成对抗网络。本发明替换的目标人脸也是通过网络生成的，从而不会侵犯他人的隐私，相对以往的马赛克遮挡的方法更有效并且视觉上更友好。通过实验结果显然证实了所提出方法的高效性与实用性，对人物图像的隐私保护更高效和美观。CN114139198ACN114139198A权利要求书1/4页1.基于层次k匿名身份替换的人脸生成隐私保护方法，其特征在于，包括以下步骤：步骤1：人脸图像数据集预处理；步骤2：构建层次k匿名生成对抗网络结构；步骤3：构建层次k匿名的目标函数；步骤4：构建人脸替换生成对抗网络结构；步骤5：构建人脸替换的目标函数；步骤6：使用公开数据集进行训练及测试，得到训练好的层次k匿名生成对抗网络和人脸替换生成对抗网络；步骤7：通过训练好的层次k匿名生成对抗网络和人脸替换生成对抗网络完成图像匿名。2.根据权利要求1所述的基于层次k匿名身份替换的人脸生成隐私保护方法，其特征在于，步骤1具体步骤如下：1‑1利用人脸检测器(dlib或者MTCNN)来检测每张图像的人脸区域，并根据人脸坐标对人脸区域进行裁剪，得到仅包含人脸的裁剪图像来避免背景信息对匿名效果的影响；1‑2采用k‑means无监督的聚类方式，来对裁剪的人脸图像的身份信息进行层次聚类，得到聚类的组id；1‑3采用现有预训练的人脸分割网络来对未裁剪图像进行处理，并且生成每张图片脸部分割的遮罩，同时将分割得到的脸部遮罩和未裁剪的图像拼接得到未裁剪的背景图像。3.根据权利要求2所述的基于层次k匿名身份替换的人脸生成隐私保护方法，其特征在于，步骤2具体步骤如下：所述的层次k匿名生成对抗网络，包括生成器、样式风格信息提取器、真假判别器以及组id判别器；首先将普通的高斯噪声以及图像层次聚类所得到的组id输入到样式风格信息提取器中得到对应组id的样式风格信息；然后将样式风格信息以及裁剪图像输入到生成器中，得到生成图；其次将生成图和对应的组id输入到真假判别器中判别图像的真假；同时也将生成图输入到组id判别器中来判别生成图是否具有正确的组id；通过上述流程的训练，最终得到视觉效果逼真的生成图；2‑1构建生成器；生成器是由多个对称的Resblock残差块组成；每个残差块均有卷积层、InstanceNorm2d归一化和LeakyReLU激活函数，此外每个残差块都接受一个128维度的风格样式信息，该风格信息通过AdaIN的方式进行注入，其表达是为：其中，θi表示图像，μ(θi)表示图像的均值，σ(θi)表示图像的标准差，μ(si)表示输入到生成器中样式风格信息的均值，σ(si)表示样式风格信息的标准差；2‑2构建样式风格信息提取器；样式提取器由多个全连接层以及ReLU激活函数组成，其根据输入的普通高斯噪声以及对应的组id，最终得到对应组的样式风格信息；2‑3构建图像真假判别器；与生成器结构类似，判别器同样采用多个Resblock残差块堆叠而成，不同之处是此残差块不需要输入风格样式信息，并且判别器将输入图所属的聚类组id作为索引，来对真假图进行判别；2CN114139198A权利要求书2/4页2‑4构建组id判别器；组id判别器采用VGG19的网络结构，VGG19网络使用了同样大小的卷积核尺寸(3x3)和最大池化尺寸(2x2)，VGG19包含了19个隐藏层，其中有16个卷积层和3个全连接层；通过组id判别器判别从生成器输出的生成图是否具有正确的组id。4.根据权利要求3所述的基于层次k匿名身份替换的人脸生成隐私保护方法，其特征在于，步骤3具体步骤如下：所述的层次k匿名的目标函数包括生成式对抗网络G