人脸图像重构方法及系统.pdf

(19)中华人民共和国国家知识产权局(12)发明专利申请(10)申请公布号CN113436061A(43)申请公布日2021.09.24(21)申请号202110748179.9G06N3/04(2006.01)(22)申请日2021.07.01G06N3/08(2006.01)(71)申请人中科人工智能创新技术研究院（青岛）有限公司地址266300山东省青岛市胶州市胶州经济技术开发区长江路1号创业大厦1117室(72)发明人李琦单彩峰王卫宁胡力娟王海滨(74)专利代理机构济南圣达知识产权代理有限公司37221代理人朱忠范(51)Int.Cl.G06T3/00(2006.01)G06K9/62(2006.01)权利要求书3页说明书13页附图2页(54)发明名称人脸图像重构方法及系统(57)摘要本发明提供一种人脸图像重构方法及系统，属于计算机视觉技术领域，获取待处理的人脸图像；获取待处理的人脸图像对应的目标属性特征差值向量；利用预先构建好的人脸重构模型，对所述待处理的人脸图像以及对应的目标属性特征差值向量，得到具有目标属性特征的人脸重构图像；其中，所述预先构建好的人脸重构模型由训练集训练得到，所述训练集包括多张具有不同分辨率的真实人脸图像以及对应的目标属性特征差值向量。本发明实现了高清像素下的多属性人脸编辑功能；保留了人脸特征细节信息，提高了属性编辑效果，提高了图像生成的分辨率，使图像更加清晰，保证了人脸属性编辑在高分辨率要求下更为丰富的细节特征，成功实现了属性变换。CN113436061ACN113436061A权利要求书1/3页1.一种人脸图像重构方法，其特征在于，包括：获取待处理的人脸图像；获取待处理的人脸图像对应的目标属性特征差值向量；利用预先构建好的人脸重构模型，对所述待处理的人脸图像以及对应的目标属性特征差值向量，得到具有目标属性特征的人脸重构图像；其中，所述预先构建好的人脸重构模型由训练集训练得到，所述训练集包括多张具有不同分辨率的真实人脸图像以及对应的目标属性特征差值向量。2.根据权利要求1所述的人脸图像重构方法，其特征在于，由训练集训练得到人脸重构模型包括：获取多张具有不同分辨率的真实人脸图像；获取真实人脸图像对应的目标属性特征差值向量；基于双重空域注意力机制的人脸重构器，根据输入的真实人脸图像以及对应的目标属性特征差值向量，得到具有目标属性特征的不同分辨率的真实合成图像；基于多层级人脸判别器，根据不同分辨率的真实图像以及对应的真实合成图像，计算损失函数的损失值；根据损失值，利用多层级损失梯度反向传播算法迭代调整所述人脸重构器及人脸判别器的权值直到收敛，得到人脸重构模型。3.根据权利要求2所述的人脸图像重构方法，其特征在于，得到具有目标属性特征的不同分辨率的真实合成图像，包括：利用残差模块和注意力机制，将编码后的不同分辨率真实图像与目标属性特征差值向量连接，并注入到解码器中，同时将空域语义分割面部信息引入解码器上采样层间，经过特征提取激励机制，解码输出不同分辨率大小的真实合成图像。4.根据权利要求2所述的人脸图像重构方法，其特征在于，所述损失值包括：多层级原始属性对抗损失值、多层级目标属性对抗损失值、多层级原始属性人脸重建损失值、多层级目标属性生成原始属性人脸重建损失值以及多层级属性分类损失值。5.根据权利要求4所述的人脸图像重构方法，其特征在于：每一层原始属性对抗损失值为：每一层目标属性对抗损失值为：每一层原始属性人脸重建损失值Lpix为：aaLpix＝||x‑G(x,a‑a)||1；每一层目标属性生成原始属性人脸重建损失值Lcyc为：则，总体人脸重建损失值Lrec：2CN113436061A权利要求书2/3页针对判别器的属性分类损失值minLclsr为：针对判别器的属性分类损失值minLclsf为：其中，x表示原始人脸图像，表示重建后的人脸图像，表示真实图像和生成图像之间adiff的采样图像，||·||1表示计算绝对值距离，x表示具有属性特征a的真实图像，c表示目i标属性特征差值向量，D表示第i个判别器，G表示生成器，Ex表示计算以输入图像为样本的期望值，Dadv(·)表示判别器的对抗损失函数，表示计算以生成图像为样本的期望值，λgp表示梯度约束参数，表示梯度算子，||·||2表示欧式距离，表示计算基于输入图像和特征差值向量之间的期望，表示带有目标属性的生成图像，c表示目标属性向量，表示计算以原始属性图像和原始属性向量为样本的期望，表示计算以原始属性图像和目标属性向量为样本的期望，Dcis表示判别器中的分类器。6.根据权利要求5所述的人脸图像重构方法，其特征在于，利用多层级损失梯度反向传播算法迭代调整所述人脸重构器及人脸判别器的权值直到收敛，包括：计算每层判别器总损失值LD：对生成器的每层输出来说，计算损失