基于生成对抗网络的人脸匿名隐私保护方法.pdf

(19)中华人民共和国国家知识产权局(12)发明专利申请(10)申请公布号CN111242837A(43)申请公布日2020.06.05(21)申请号202010006768.5(22)申请日2020.01.03(71)申请人杭州电子科技大学地址310018浙江省杭州市下沙高教园区2号大街(72)发明人匡振中郭志强俞俊杨结张鑫(74)专利代理机构杭州君度专利代理事务所(特殊普通合伙)33240代理人朱月芬(51)Int.Cl.G06T3/00(2006.01)G06K9/62(2006.01)G06N3/04(2006.01)G06N3/08(2006.01)权利要求书3页说明书7页附图3页(54)发明名称基于生成对抗网络的人脸匿名隐私保护方法(57)摘要本发明提供一种基于生成对抗网络的人脸匿名隐私保护方法。本发明首先对人脸图像数据预处理；然后构建生成对抗网络结构；再建立人脸区域匿名的目标函数；然后建立场景内容区域保留的目标函数；随后进行人脸匿名与场景保留的目标函数的结合；最后采用公开数据集进行训练及测试，输出最终结果。本方法对图像中人脸区域进行合成脸的替换而达到人脸匿名的效果，相对以往的马赛克遮挡的方法更高效并且在视觉上更友好。本发明方法具有高效性与实用性，对人物图像的隐私保护更高效和美观。CN111242837ACN111242837A权利要求书1/3页1.基于生成对抗网络的人脸匿名隐私保护方法，其特征在于，包括如下步骤：步骤1：人脸图像数据预处理；步骤2：构建生成对抗网络结构；步骤3：建立人脸区域匿名的目标函数；步骤4：建立场景内容区域保留的目标函数；步骤5：人脸匿名与场景保留的目标函数的结合；步骤6：采用公开数据集进行训练及测试，输出最终结果。2.根据权利要求1所述的基于生成对抗网络的人脸匿名隐私保护方法，其特征在于，步骤1所述的人脸图像数据预处理，具体步骤如下：1-1.数据准备和预处理，通过人工对人脸图像进行属性标记，生成属性标签y；1-2.利用人脸检测器检测每张人脸图像中人脸区域位置的左上角坐标点坐标和长宽；1-3.制作人脸区域掩码图像，具体操作是使用黑色像素值将人脸图像中人脸的位置填充即可。3.根据权利要求2所述的基于生成对抗网络的人脸匿名隐私保护方法，其特征在于，步骤2所述的构建生成对抗网络结构，具体步骤如下：2-1.构建生成器，生成器是一个U-net网络，包括5个编码器层和5个解码器层；编码器每层由最大池化层(Max-Pooling)和卷积(Convolutional，Conv)块组成，其中Conv块由2个Conv层、2个批量归一化层(BatchNormalization，BN)和2个线性整流函数(ReLU)组成；解码器每层由Upsampling-Conv块和Conv块组成，其中Upsampling-Conv块由Upsampling、Conv、BN和ReLU组成；编码器层与解码器层通过跳跃式连接(skip-connection)相连；跳跃式连接分为两部分：第一部分是输入原始图像到编码器层，将其与解码器层使用skip-connection对应连接；第二部分是输入掩码人脸图像到Conv块，利用skip-connection与解码器层对应连接即可；2-2.构建鉴别器；鉴别器采用的是pix2pix中的Patch-D网络，包括5个Conv层、4个Leaky-ReLU函数、3个BN层和Sigmoid激活函数；鉴别器用于判断输入图像是否为真实人脸图像。4.根据权利要求3所述的基于生成对抗网络的人脸匿名隐私保护方法，其特征在于，步骤3所述的建立人脸区域匿名的目标函数，具体如下：3-1.GAN的目标函数，采用CGAN进行图像中保持非隐私属性的可用性，具体操作是：输入原始图像x和对应的属性标签y到生成器网络中合成图像xf；同理，分别将原始图像x和对应的属性标签y与合成图像xf和对应的属性标签y输入到鉴别器中进行判别，数学表达式如下：其中，x表示输入的原始图像，y表示对应原始图像的属性标签，G表示生成器，D表示鉴别器；3-2.人脸图像距离差异目标函数；利用人脸位置坐标点将合成图像进行裁剪获取人脸区域图，使用曼哈顿距离计算公式计算合成人脸区域与原始人脸区域之间的像素距离；设2CN111242837A权利要求书2/3页定阈值α，计算α与上述距离之间的绝对值差，目的是将原始人脸区域与合成人脸区域之间的像素保持α距离，数学表达式如下：其中，xr表示原始图像的人脸区域数据，xf表示合成图像的人脸区域数据，α表示一个设定的阈值；3-3.方差目标函数；利用方差的特性将数据离散化，在上述步骤3-2计算得到距离的基础上添加方差运算，使其合成图像数据离散化，增加人脸区域之间的差别，数学表达式如下：其中，xr表示原始图像人脸区域数据，xf表示合成图像人