一种基于光照、姿态生成对抗网络的人脸识别方法.pdf

(19)中华人民共和国国家知识产权局(12)发明专利申请(10)申请公布号CN110751098A(43)申请公布日2020.02.04(21)申请号201911003816.9(22)申请日2019.10.22(71)申请人中山大学地址510275广东省广州市海珠区新港西路135号(72)发明人赖剑煌卢钦伟谢晓华(74)专利代理机构广州市华学知识产权代理有限公司44245代理人刘巧霞(51)Int.Cl.G06K9/00(2006.01)G06N3/04(2006.01)G06N3/08(2006.01)权利要求书3页说明书9页附图6页(54)发明名称一种基于光照、姿态生成对抗网络的人脸识别方法(57)摘要本发明公开了一种基于光照、姿态生成对抗网络的人脸识别方法，包括步骤：(1)获取各种光照以及角度的人脸图像作为样本数据；(2)通过端到端训练生成对抗网络得到最优光照生成器；(3)通过端到端训练生成对抗网络得到最优姿态生成器；(4)设置目标光照以及姿态，进行人脸光照、姿态变换。本发明利用生成对抗网络方法及各种损失函数，可有效地将给定的人脸图像变换到指定光照条件以及指定姿态下，另外在姿态变换网络中引入了双路注意力机制，将人脸跟关键点信息分开处理，使得在进行姿态变换的同时，能够很好地保留原有图像中的光照信息。本发明具有参数量小、速度较快的特点。CN110751098ACN110751098A权利要求书1/3页1.一种基于光照、姿态生成对抗网络的人脸识别方法，其特征在于，包括步骤：(1)获取多种不同光照以及角度的人脸图像作为样本数据；(2)对人脸图像进行关键点检测；(3)生成对抗网络的光照对抗训练：从训练样本中随机选取一张图像作为输入人脸图像，得到图像I、身份标签Iid、原始光照标签Slight，再随机选择一个目标光照标签Tlight作为目标光照，将图像I跟Tlight输入到光照生成器Glight得到图像It_fake，接着将It_fake跟原始光照标签Slight输入到Glight得到图像Is_fake，将原图像I和图像Is_fake的误差反馈给Glight，这个误差称之为循环一致性损失；训练过程中对I、Is_fake、It_fake进行真假判别、身份判别、光照判别；通过不断迭代上述过程，得到最优光照生成器Glight；(4)生成对抗网络的姿态对抗训练：利用成对的、相同身份、光照条件下的训练数据进行训练，每一对中一张为正脸图像，一张为侧脸图像，分别表示为图像I1,包括图像I1中所有关键点坐标信息的heatmap图kp1,图像I2,包括图像I2中所有关键点坐标信息的heatmap图kp2，将I1跟kp1、kp2输入姿态生成器Gpose，得到I’1，将I2跟kp1、kp2输入Gpose得到I’2，然后将I1、I’1以及I2、I’1这两对分别进行身份保存损失函数计算，接着进行感知损失函计算，最后对I’1、I’2做一个全变分正则损失计算；姿态对抗训练中，身份真假判别器Did对[I1,I’2]、[I1,I2]、[I2,I’1]、[I2,I1]进行真假判别，姿态真假判别器Dpose对[I1,kp1]、[I’1,kp2]、[I2,kp2]、[I’2,kp1]进行真假判别，以此来跟姿态生成网络对抗，不断迭代优化，最终得到最优姿态生成器Gpose；(5)人脸光照、姿态变换：输入待变换原始人脸图像、目标光照标签，先将待变换原始人脸图像跟目标光照标签输入光照生成器，然后将光照生成器的输出再输入到姿态生成器中，得到最终目标图像。2.根据权利要求1所述的基于光照、姿态生成对抗网络的人脸识别方法，其特征在于，针对样本数据通过MTCNN方法对人脸图像进行关键点检测，关键点选取左眼、右眼、鼻子、嘴左、嘴右五个关键点，将所述关键点坐标进行保存；利用MTCNN方法得到的关键点坐标会跟图像路径以及标签共同保存到文本文件中，用于训练时得到对应关键点的heatmap图用于训练跟测试。3.根据权利要求1所述的基于光照、姿态生成对抗网络的人脸识别方法，其特征在于，步骤(3)中，生成对抗网络的光照对抗训练过程中，循环一致性损失函数为：其中，||·||1表示L1范数，通过循环一致性损失函数，以保证生成图像的身份跟光照信息与期待的保持一致。4.根据权利要求1所述的基于光照、姿态生成对抗网络的人脸识别方法，其特征在于，步骤(3)中，生成对抗网络的光照对抗训练过程中，对抗损失函数为：其中，I为输入人脸图像，Tlight为目标光照，Did为身份真假判别器，输入为一张图像，表示取一个训练批次中所有训练样本计算值的期望值，训练过程中，生成器试图最大2CN110751098A权利要求书2/3页化判别器试图最小化5.根据权利要求1所述的基于光照、姿态生成对抗网络的人脸识别方法，其特征在于，步骤(