属性生成对抗网络以及基于该网络的人脸图像连续变换方法.pdf

(19)国家知识产权局(12)发明专利申请(10)申请公布号CN115984911A(43)申请公布日2023.04.18(21)申请号202111191490.4G06N3/094(2023.01)(22)申请日2021.10.13(71)申请人哈尔滨工业大学（深圳）地址518055广东省深圳市南山区桃源街道深圳大学城哈尔滨工业大学校区(72)发明人张海军杨沃佳李静侃(74)专利代理机构深圳市迪斯卓越专利代理事务所(普通合伙)44443专利代理师闵华明(51)Int.Cl.G06V40/16(2022.01)G06V10/764(2022.01)G06V10/80(2022.01)G06V10/82(2022.01)G06N3/0475(2023.01)权利要求书2页说明书6页附图2页(54)发明名称属性生成对抗网络以及基于该网络的人脸图像连续变换方法(57)摘要本发明公开了一种属性生成对抗网络以及基于该网络的人脸图像的连续变换方法，该属性生成对抗网络包含一个生成器和一个判别器，所述生成器包括身份特征编码器、年龄特征编码器和解码器；所述解码器使用基于自适应权值标准化的渐进式特征融合的结构，所述判别器使用多任务结构。该方法在训练该属性生成对抗网络时使用的目标损失函数包括对抗损失函数、循环一致损失函数、重建损失函数、身份特征损失函数和年龄特征损失函数。本发明公开的技术方案通过基于自适应权值标准化的解码器模拟人脸软组织和颅骨形状随年龄的变化，通过多任务结构的判别器减少了模型计算的参数量，在维持计算资源的低耗前提下，实现任意年龄跨度的人脸图像精准连续变换。CN115984911ACN115984911A权利要求书1/2页1.一种基于属性生成对抗网络的人脸图像连续变换的方法，其特征在于，该方法包括如下步骤：S1、构建包含大量人脸图像数据的数据集,所述人脸图像数据包括人脸图像以及与人脸图像相对应的图像信息，所述图像信息包括年龄信息和身份ID信息；S2、构建属性生成对抗网络，所述属性生成对抗网络包括一个生成器和一个判别器；所述生成器包括身份特征编码器，用于提取输入人脸图像的身份特征；年龄特征编码器，用于提取参考人脸图像的年龄特征，作为目标条件；解码器，使用基于自适应权值标准化模块的渐进式特征融合结构，用于将所述身份特征和所述目标条件通过风格融合的方法生成目标人脸图像；所述判别器为年龄属性判别器，所述判别器使用多任务结构，所述多任务结构包括多个全连接层以及与之相对应的多个二分类器，每一个二分类器对应一个目标年龄域，用于判断所述目标人脸图像是否真实以及判断所述目标人脸图像的人脸年龄是否属于目标年龄域；其中，所述属性生成对抗网络使用的目标损失函数包括对抗损失函数、循环一致损失函数、重建损失函数、身份特征损失函数和年龄特征损失函数；S3、训练属性生成对抗网络，从所述数据集随机选择两张年龄信息不同的人脸图像分别作为输入人脸图像和参考人脸图像输入至所述生成器，所述生成器将生成的人脸图像输出至所述判别器，根据目标损失函数训练所述判别器和所述生成器；S4、进行人脸图像变换：将一张源人脸图像输入至由步骤C训练好的属性生成对抗网络，生成多个目标人脸图像，每一个目标人脸图像对应一个目标年龄域，通过年龄特征线性插值生成连续的年龄变换图像。2.根据权利要求1所述的基于属性生成对抗网络的人脸图像连续变换的方法，其特征在于，所述循环一致损失函数用于所述生成器在生成过程中维持人脸的身份特征，具体表示为其中，且为属于源年龄域的第二参考人脸图像经过所述年龄特征编码器Eage提取的源年龄特征，y是所述生成器根据源年龄域的输入人脸图像xid生成的目标人脸图像，F为解码器。3.根据权利要求1所述的基于属性生成对抗网络的人脸图像连续变换的方法，其特征在于，所述重建损失函数表示为其中，xrec为重建图像。4.根据权利要求1所述的基于属性生成对抗网络的人脸图像连续变换的方法，其特征在于，所述身份特征损失函数表示为所述年龄特征损失函数表示为2CN115984911A权利要求书2/2页其中，为目标年龄隐向量。5.根据权利要求1所述的基于属性生成对抗网络的人脸图像连续变换的方法，其特征在于，所述步骤C的训练过程使用生成器判别器交替梯度下降算法、小批量的随机梯度下降算法以及Adam算法进行训练，所述对抗损失函数为非饱和对抗损失函数，具体表示为：其中Dt为所述判别器第t类的softmax概率输出。6.一种使用权利要求1‑6所述的人脸连续变换方法的属性生成对抗网络，其特征在于，该网络包括一个生成器和一个判别器；所述生成器包括身份特征编码器，包括四个第一残差块和一个第一平均池化层，用于提取输入人脸图像的身份特征；年龄特征编码器，包括多个第二残差块、一个第二平均池化层和一个全连接层，每一个第二残差块对