一种人脸图像修复方法及系统.pdf

(19)国家知识产权局(12)发明专利申请(10)申请公布号CN114943656A(43)申请公布日2022.08.26(21)申请号202210608315.9G06V10/82(2022.01)(22)申请日2022.05.31G06N3/04(2006.01)G06N3/08(2006.01)(71)申请人山东财经大学地址250014山东省济南市历下区二环东路7366号(72)发明人迟静代福芸陈玉妍沈天舒衣所超(74)专利代理机构济南圣达知识产权代理有限公司37221专利代理师于凤洋(51)Int.Cl.G06T5/00(2006.01)G06T3/40(2006.01)G06V40/16(2022.01)G06V10/80(2022.01)权利要求书2页说明书11页附图5页(54)发明名称一种人脸图像修复方法及系统(57)摘要本公开提供一种人脸图像修复方法及系统，修复模型由人脸图像编码器、人脸几何先验预测网络和GAN先验解码器构成；人脸图像编码器采用多尺度融合思想，保留输入人脸在不同尺度下的脸部信息；人脸几何先验预测网络获取人脸解析图表示的人脸几何先验信息，保证图像修复过程中对输入人脸身份信息的保持；GAN先验解码器引入GAN逆映射的思想，将一个训练好的带有丰富的人脸纹理先验知识的GAN嵌入到网络模型中，以重建高精度的人脸纹理信息；层特征分布损失函数引入对每一层特征空间里的特征向量分布情况及相互关系的约束，有效提升了整个模型的修复精度。CN114943656ACN114943656A权利要求书1/2页1.一种人脸图像修复方法，其特征在于，包括：采集低质量人脸图像数据并预处理；获取一张待修复的低质量人脸图像，将所述待修复的低质量人脸图像分别输入至人脸几何先验预测网络和多尺度人脸图像编码器中，获得人脸解析图和人脸图片特征；将所述人脸解析图和所述人脸图片特征融合后，输入至生成对抗网络先验解码器，重建生成最终的人脸图片。2.如权利要求1所述的一种人脸图像修复方法，其特征在于，获取一张低质量的人脸图像，输入至多尺度人脸图像编码器中，所述多尺度人脸图像编码器利用双三次插值方法将人脸图像分别放大4倍、6倍以及8倍，得到原尺度图像、4倍尺度图像、6倍尺度图像和8倍尺度图像，将所述四种不同尺度的人脸图像分别经过编码模块得到不同尺度下的人脸特征，然后将四种人脸特征进行融合得到人脸图片特征。3.如权利要求2所述的一种人脸图像修复方法，其特征在于，所述编码模块由首尾对称的卷积层、池化层、正则层和12个残差块连接组成。4.如权利要求1所述的一种人脸图像修复方法，其特征在于，所述人脸几何先验预测网络由卷积层、池化层、正则层、3个残差块以及一个沙漏结构连接组成。5.如权利要求1所述的一种人脸图像修复方法，其特征在于，所述的生成对抗网络先验解码器采用StyleGAN结构，解码时，将人脸几何先验预测网络获得的人脸解析图与多尺度人脸图像编码器获得的人脸图像特征融合成特征向量输入至所述生成对抗网络先验解码器中，先将其通过映射网络映射为一个位于更加解耦的空间中的特征向量，再将特征向量输入至生成网络GAN，并结合生成网络GAN中已训练好的人脸纹理先验信息，重建生成一张高质量人脸图片。6.如权利要求1所述的一种人脸图像修复方法，其特征在于，损失函数包括四项约束，分别为L2损失函数、感知损失函数、对抗损失函数以及层特征分布损失函数；所述L2损失函数，给定训练集N是用于训练的人脸图片的数量，是输入的低质量人脸图片,分别是对应的真实的高质量人脸图片和真实的人脸几何信息，L2损失函数用于计算修复生成的人脸几何信息与真实的人脸几何信息的误差，以及修复生成的人脸图像与真实人脸图像的像素级误差，表示如下：其中，表示由第k张输入人脸图片修复生成的人脸图片，p(k)表示由第k张输入人脸图片预测生成的人脸几何信息。7.如权利要求6所述的一种人脸图像修复方法，其特征在于，所述感知损失函数用于计算修复生成的人脸图片和真实人脸图片之间的感知误差，表示如下：2LP＝|υ(Ig)‑υ(Io)||其中，v(·)表示用VGG进行的特征提取操作，Io表示由模型修复生成的人脸图片，Ig表示与输入人脸图片对应的真实的高质量人脸图片。8.如权利要求6所述的一种人脸图像修复方法，其特征在于，用于平衡编码器和先验解2CN114943656A权利要求书2/2页码器的对抗损失函数定义如下：Ladv＝E[logD(Ig,Ii)]+E[log(1‑D(Ψ(Ω(Ii),Θ(Ii)))]其中，Ii，Ig分别表示输入的低质量人脸图片和与其对应的真实的高质量人脸图片，Ψ(Ω(Ii),Θ(Ii))表示由输入人脸图片修复生成的高质量人脸图片；判别器区分真实高质量人脸图片和修复生成的高质量人脸图片。9.如权利要求6所述的一种人