一种基于生成对抗网络的面部图像增强方法.pdf

(19)中华人民共和国国家知识产权局(12)发明专利申请(10)申请公布号CN108537743A(43)申请公布日2018.09.14(21)申请号201810206149.3(22)申请日2018.03.13(71)申请人杭州电子科技大学地址310018浙江省杭州市下沙高教园区2号大街(72)发明人俞俊孙可嘉高飞(74)专利代理机构杭州君度专利代理事务所(特殊普通合伙)33240代理人朱月芬(51)Int.Cl.G06T5/00(2006.01)G06T7/33(2017.01)权利要求书3页说明书8页附图3页(54)发明名称一种基于生成对抗网络的面部图像增强方法(57)摘要本发明公开了一种基于生成对抗网络的面部图像增强方法.本发明包括以下步骤：1、使用3D稠密面部对齐方法对多种姿态的面部图像进行预处理；2、设计基于生成对抗网络的面部增强网络，两步生成对抗网络。3、针对任务需要设计Step-I和Step-II对应的目标函数4、使用MS-1-celeb预训练识别模型，并使用扩增数据预训练TS-GAN模型；5、使用Multi-PIE作为训练集，利用反向传播算法训练(4)中完成预训练的TS-GAN模型参数，直至收敛。使用最终训练的TS-GAN模型可以得到与输入图像对应的正脸图像，同时该图像保留原始光照、视觉程度真实，并且保留了原有的身份信息。CN108537743ACN108537743A权利要求书1/3页1.一种基于生成对抗网络的面部图像增强方法，其特征在于包括如下步骤：步骤(1)、数据预处理：数据处理分两部分，第一部分对原始数据集进行扩增；第二部分对要用到的所有数据集进行统一处理；对MS-1-celeb数据集进行预处理：利用3Dmorphablemodel将该数据集中的正脸面部图像转任意角度，得到二元组数据{IP，IF}，形成MS-1-celeb扩增集；其中，IP为给定原始输入图像，IF为其相应同场景下的面部正视图；对用到的所有图像进行预处理：使用3DDFA算法抽取图像的面部关键点；并根据得到的关键点对图像进行配准操作；所有图像包括MS-1-celeb扩增集和Multi-PIE数据集；步骤(2)、设计基于生成对抗网络进行面部增强的网络结构：两步生成对抗网络的实现如下：Step-I：将原始输入图像IP输入到一个Encoder-Decoder结构的网络中，合成一张效果较差的正脸图像；Step-II：将Step-I的合成的正脸图像与原始输入图像IP进行通道拼接，输入到一个U型网络结构中继续进行正脸化操作，从而得到最终视觉效果非常好的增强面部图像；步骤(3)、构建面部增强网络的损失函数：针对两步生成对抗网络设计其各部分的损失函数；在Step-I中，对Encoder部分的bottleneck层引入了Softmax损失函数，为面部图像的分类进行约束；对Decoder生成的面部图像引入重建损失和对抗损失，以求利用这两种约束得到一个视觉良好的面部图像；在Step-II中，对U型网络输出的正脸图像引入了对抗损失、重建损失、对称损失、全变差损失和感知损失；通过先验知识结合出色的对抗网络得到视觉真实、身份信息良好的面部图像；步骤(4)、预训练模型：首先，训练三个人脸识别模型：Resnet-28、IRv1，以及IRv1在Multi-PIE上的微调模型IRv1_ft；Resnet-28用来初始化最终模型的Encoder部分，IRv1_ft用来对合成的正脸图像的身份信息提供监督信息；之后用通过Resnet-28和IRv1_ft这两个模型初始化TS-GAN，获取初始化模型；配合MS-1-celeb扩增数据集对整个初始化模型进行训练，直至模型在扩增集上收敛，完成整个预训练部分，获得收敛模型；步骤(5)、模型训练使用Multi-PIE数据集自带的{IP，IF}二元组作为最终训练集；利用步骤(4)的收敛模型对网络初始化，结合步骤(3)中所述的损失函数，进而利用反向传播算法对步骤(2)中设计的两步生成对抗网络的参数进行训练，直至整个网络模型收敛。2.根据权利要求1所述的一种基于生成对抗网络的面部图像增强方法，其特征在于步骤(2)中的TS-GAN,其具体如下：首先，设置整个实验的目标函数；从不同姿态的IP合成其对应的正脸视图IF，训练网络须构建数据对{IP，IF}，其中IF为对P应I的目标视图，两者具有相同的数据维度；使用Gθ来学习变换参数θG；生成网络G由两部分组成，分别为和2CN108537743A权利要求书2/3页判别网络D根据参数分为和两部分；通过学习到一个清晰的正面视图；然后通过学习纹理的补全和其他优化；同在部分引入了交叉熵损失函数Lidentity对Encoder部分进行更多的监督；为了获得良好的视觉效果和可靠的身份识别效果，为生成网络部分Gθ设计一个