一种基于图像分割和生成对抗网络的人脸属性迁移方法.pdf

(19)中华人民共和国国家知识产权局(12)发明专利申请(10)申请公布号CN113850169A(43)申请公布日2021.12.28(21)申请号202111089709.X(22)申请日2021.09.17(71)申请人西北工业大学地址710072陕西省西安市碑林区友谊西路127号(72)发明人耿杰邓号蒋雯邓鑫洋(51)Int.Cl.G06K9/00(2006.01)G06K9/34(2006.01)G06K9/62(2006.01)G06N3/04(2006.01)G06N3/08(2006.01)权利要求书2页说明书4页附图1页(54)发明名称一种基于图像分割和生成对抗网络的人脸属性迁移方法(57)摘要本发明公开了一种基于图像分割和生成对抗网络的人脸属性迁移方法，包括以下步骤：设置人脸属性迁移的基本网络框架，设置网络的基本参数；利用CelebA数据集对U‑Net人脸图像分割模型进行训练；利用训练好的U‑Net网络分割人脸图像，将需要迁移的人脸属性从源图像中分割出来，融合到目标人脸图像；将目标图像和融合的图像输入到生成对抗网络，使得融合的图像符合目标图像的风格；利用基于Haar特征级联分类器识别人脸区域，并进行人脸属性迁移。本发明提出了人脸属性迁移方法可以将多种人脸属性迁移到目标人脸图像，并通过生成对抗学习让迁移替换的部分更平滑，减少割裂感，能够获得更加逼真的人脸图像。CN113850169ACN113850169A权利要求书1/2页1.一种基于图像分割和生成对抗网络的人脸属性迁移方法，其特征在于：包括以下步骤：步骤一、设置人脸属性迁移的基本网络框架，设置网络的基本参数；步骤二、利用CelebA数据集对U‑Net人脸图像分割模型进行训练：步骤201、打乱CelebA数据集并将数据集进行随机划分，分为训练集、验证集、以及测试集；步骤202、初始化U‑Net网络，设置输入图片的长宽为K*K，设置输出层输出类别为7，分别对应人脸的七种属性，包括左眼、右眼、鼻子、嘴、左眉、右眉、以及整个脸部；步骤203、采用Focalloss损失函数对U‑Net网络进行训练；步骤204、对U‑Net网络的前L层进行粗训练，采用Adam优化器，学习率为0.0001，其他参数采用Adam优化器的默认值；步骤205、当验证集损失值变化小于0.005时，对U‑Net网络的前M层进行精细训练，采用Adam优化器，学习率为0.00001，其他参数采用Adam优化器的默认值；步骤三、利用训练好的U‑Net网络分割人脸图像，将需要迁移的人脸属性从源图像中分割出来，融合到目标人脸图像：步骤301、利用训练好的U‑Net网络对数据集中每一张图像都进行人脸属性判别，得到K*K*7的判别结果矩阵；步骤302、根据人脸属性判别结果矩阵，将需要迁移的人脸属性p对应的像素点置1，其他属性对应的像素点置0，对源图像X和目标图像Y进行掩膜和反掩膜，得到只含属性p的图像X_p和Y_p，以及不含属性p的图像X_np和Y_np；步骤303、求X_p和Y_p的均值分别表示为μx，μy，求X_p和Y_p的方差分别表示为σx，σy，并对X_p进行变换得到X*_p，公式如下步骤304、将X*_p与Y_np进行拼接融合，得到融合的图像Y*；步骤四、将目标图像和融合的图像输入到生成对抗网络，使得融合的图像符合目标图像的风格：步骤401、将数据集中所有的目标图像Y和对应的融合图像Y*输入到生成对抗网络中，同时将只含属性p的图像Y_p以及变换后图像X*_p输入到生成对抗网络中；步骤402、生成对抗网络进行对抗训练，目的是使得融合后的图像更加符合目标图像的风格，网络训练的损失函数包括对抗目标损失Ladv、图像重建损失Lrec、以及风格一致性损失Lsty三个部分，定义分别如下*Ladv＝E[logD(Y)]+E[log(1‑D(G(Y)))]**Lrec＝E[||Y‑G(Y)||2]**Lsty＝E[||G(Y)‑G(Y)||2]+αE[||G(X_p)‑G(Y_p)||2]其中，D()表示鉴别器，G()表示生成器，E表示分布函数的期望值，α表示比例系数；步骤五、利用基于Haar特征级联分类器识别人脸区域，并进行人脸属性迁移：步骤501、利用基于Haar特征级联分类器识别人脸区域，将人脸区域裁剪出来，并将长2CN113850169A权利要求书2/2页宽变换为K*K的图像；步骤502、对提取的人脸图像按照步骤三和步骤四进行人脸属性迁移。3CN113850169A说明书1/4页一种基于图像分割和生成对抗网络的人脸属性迁移方法技术领域[0001]本发明属于图像处理技术领域，具体涉及一种基于图像分割和生成对抗网络的人脸属性迁移方法。背景技术[0002]深度伪造技术是深度学习与伪造(fake)的组合，以人脸为例