基于人脸关键点引导式生成对抗网络的人脸修复方法.pdf

(19)中华人民共和国国家知识产权局(12)发明专利申请(10)申请公布号CN111476749A(43)申请公布日2020.07.31(21)申请号202010261441.2(22)申请日2020.04.03(71)申请人陕西师范大学地址710062陕西省西安市雁塔区长安南路199号(72)发明人裴炤黄丽张艳宁马苗郭敏李峻武杰陈昱莅(74)专利代理机构西北工业大学专利中心61204代理人刘新琼(51)Int.Cl.G06T5/50(2006.01)G06N3/04(2006.01)G06N3/08(2006.01)权利要求书2页说明书5页(54)发明名称基于人脸关键点引导式生成对抗网络的人脸修复方法(57)摘要本发明涉及一种基于人脸关键点引导式生成对抗网络的人脸修复方法，包括：人脸关键点引导式生成对抗网络构建、人脸关键点引导式生成对抗网络训练、人脸修复步骤。本发明使用人脸关键点引导式生成对抗网络生成完整人脸，在人脸大面积区域缺失的情况下，结合人脸关键点损失函数辅助网络的训练，引导生成人脸的轮廓不断接近于真实人脸的轮廓，使得修复后的人脸轮廓连贯、真实。解决了严重遮挡等条件导致的大面积区域缺失的人脸修复结果失真的问题。CN111476749ACN111476749A权利要求书1/2页1.一种基于人脸关键点引导式生成对抗网络的人脸修复方法，其特征在于步骤如下：步骤1：构建人脸关键点引导式生成对抗网络，该网络包括人脸修复模块和人脸关键点预测模块；所述的人脸修复模块由一个生成器和一个判别器组成，生成器包括输入、10个卷积层、2个空洞卷积层、2个反卷积层、输出；输入是大小为64×64×3的带随机二进制掩膜的人脸图像，如下：IM＝I⊙M(1)式中，IM为带随机二进制掩膜的人脸图像，I为用于训练网络的人脸数据集中的原始人脸图像，M为随机生成的大小为64×64的二进制掩膜；第一层卷积层，卷积核大小为5×5，步长为1，激活函数为LReLU，输出64个大小为64×64的特征图；第二层卷积层，卷积核大小为5×5，步长为2，激活函数为LReLU，输出128个大小为32×32的特征图；第三层卷积层，卷积核大小为5×5，步长为1，激活函数为LReLU，输出128个大小为32×32的特征图；第四层卷积层，卷积核大小为5×5，步长为2，激活函数为LReLU，输出256个大小为16×16的特征图；第五层卷积层，卷积核大小为5×5，步长为1，激活函数为LReLU，输出256个大小为16×16的特征图；第六层卷积层，卷积核大小为5×5，步长为1，激活函数为LReLU，输出256个大小为16×16的特征图；第七层空洞卷积层，卷积核大小为3×3，空洞率为2，激活函数为LReLU，输出256个大小为16×16的特征图；第八层空洞卷积层，卷积核大小为3×3，空洞率为4，激活函数为LReLU，输出256个大小为16×16的特征图；第九层卷积层，卷积核大小为5×5，步长为1，激活函数为LReLU，输出256个大小为16×16的特征图；第十层卷积层，卷积核大小为5×5，步长为1，激活函数为LReLU，输出256个大小为16×16的特征图；第十一层反卷积层，卷积核大小为5×5，步长为2，激活函数为LReLU，输出128个大小为32×32的特征图；第十二层卷积层，卷积核大小为5×5，步长为1，激活函数为LReLU，输出128个大小为32×32的特征图；第十三层反卷积层，卷积核大小为5×5，步长为2，激活函数为LReLU，输出64个大小为64×64的特征图；第十四层卷积层，卷积核大小为5×5，步长为1，激活函数为LReLU，输出32个大小为64×64的特征图；第十五层输出层，是生成器生成的大小为64×64×3的人脸图像；判别器包括输入、4个卷积层、1个全连接层、输出；输入是大小为64×64×3的人脸图像；第一层卷积层，卷积核大小为5×5，步长为2，激活函数为LReLU，输出64个大小为64×64的特征图；第二层卷积层，卷积核大小为5×5，步长为1，激活函数为LReLU，输出128个大小为32×32的特征图；第三层卷积层，卷积核大小为5×5，步长为1，激活函数为LReLU，输出256个大小为16×16的特征图；第四层卷积层，卷积核大小为5×5，步长为1，激活函数为LReLU，输出512个大小为4×4的特征图；第五层全连接层，激活函数为Sigmoid，输出一个范围为[0,1]的单个数值，代表输入判别器人脸为真实人脸的概率值；所述的人脸关键点预测模块包括输入、4个卷积层、1个全连接层、输出；除输出外，该模块结构与上述判别器结构相同；该模块输出为一个136维的向量，代表人脸68个关键点x、y坐标预测结果；步骤2：训练人脸关键点引导式生成对抗网络，该网络的训练包含两个步骤，第一步训练人脸关键