一种基于生成对抗网络先验的盲人脸图像复原方法.pdf

(19)国家知识产权局(12)发明专利申请(10)申请公布号CN114511466A(43)申请公布日2022.05.17(21)申请号202210155385.3(22)申请日2022.02.21(71)申请人北京大学深圳研究生院地址518055广东省深圳市南山区西丽镇丽水路深圳大学城北大校区(72)发明人张健王荫槐胡妤婕(74)专利代理机构北京京万通知识产权代理有限公司11440专利代理师万学堂(51)Int.Cl.G06T5/00(2006.01)G06N3/04(2006.01)G06N3/08(2006.01)权利要求书2页说明书9页附图6页(54)发明名称人脸图像。一种基于生成对抗网络先验的盲人脸图像复原方法(57)摘要本发明公开了一种基于生成对抗网络先验的盲人脸图像复原方法，包括生成对抗网络先验模块、图像特征提取模块、基于无监督学习退化表征策略的退化表征编码模块、退化感知特征插值模块。生成对抗网络先验模块，用于从初始特征图通过针对人脸预训练好的生成对抗网络生成不同尺度的中间特征图，从而合成更真实的人脸结构和细节；图像特征提取模块，用于从原始退化图像提取出不同尺度的特征图；退化表征编码模块，根据是否使用不同退化函数构造正负样本，从而实现在无监督情况下提取出图像在不同退化程度下的退化表征；退化感知特征插值模块，用于融合图像特征提取模块每一层提取到的特征图和生成对抗网络先验模块每一层得到的特征图。本发明可以自适应学习图像的不同退化程度，实现从不同程度的多种未知退化下的低质CN114511466A量人脸图像复原出身份一致，细节清晰的高质量CN114511466A权利要求书1/2页1.一种基于生成对抗网络先验的盲人脸图像复原方法，其特征在于，包括以下步骤：步骤S1、构造训练数据集：采用包含高斯模糊、下采样、高斯噪声和JPEG压缩的退化函数来尽可能拟合真实世界的退化，训练过程中随机选择不同的退化参数；训练数据集有多个数据对，每个数据对由高质量人脸图像和对应的退化图像组成；步骤S2、基于无监督学习退化表征策略训练退化表征编码模块：不同的图像经过同一个退化函数得到的退化图像互为正样本，经过其他退化函数得到的退化图像均为负样本；同时采用对比损失训练退化表征编码模块，使得正样本之间的退化表征尽可能接近，负样本之间的退化表征尽可能区分开；步骤S3、构造基于生成对抗网络先验的盲人脸图像复原模型：模型由生成对抗网络先验模块、图像特征提取模块、退化表征编码模块、退化感知特征插值模块组成，主要是将退化图像蕴含的结构信息和生成网络先验预测的细节信息自适应地进行融合，从而使得生成的高质量人脸图像不仅保持了身份信息，还能够具有更清晰的纹理细节；步骤S4、训练基于生成对抗网络先验的盲人脸图像复原模型：在训练时，基于上述训练数据集，给定损失函数，使用反向传播和梯度下降算法不断优化模型中的参数，直至损失函数值稳定；步骤S5、采用训练好的基于生成对抗网络先验的盲人脸图像复原模型进行图像复原：选取通用的数据集作为测试，用前面提到的退化函数进行相同处理后得到的低质量人脸作为模型的输入，输出复原后的高质量人脸图像。2.根据权利要求1所述的基于生成对抗网络先验的盲人脸图像复原方法，其特征在于步骤S2构造退化表征编码模块是基于无监督学习退化表征策略，主要包括如下步骤：步骤S21、在训练集中每次随机选取两张不同的图像，应用相同的退化函数，得到退化图像对，它们彼此之间互为正样本；步骤S22、初始化退化表征模块，创建自定义长度的由随机向量组成的负样本队列；步骤S23、使用对比损失训练退化表征编码模块，计算图像对内部正样本的距离和图像对之间负样本的距离，使得退化表征尽可能接近正样本，同时与负样本区分开；步骤S24、这两张图像进入队列，作为之后其他图像经过不同的退化函数得到的退化图像对的负样本；即队列中会保留每次生成的退化图像对，达到设定的队列长度后用新生成的退化图像对替换最早的图像对，作为一次更新。3.根据权利要求1所述的基于生成对抗网络先验的盲人脸图像复原方法，其特征在于步骤S3构造的基于生成对抗网络先验的盲人脸图像复原模型包括生成对抗网络先验模块、图像特征提取模块、退化表征编码模块、退化感知特征插值模块；生成对抗网络先验模块，用于从初始特征图通过针对人脸预训练好的生成对抗网络生成不同尺度的中间特征图，输入到退化感知特征插值模块；图像特征提取模块，用于从原始退化图像提取出不同尺度的特征图，作为退化感知特征插值模块的另一个输入；退化表征编码模块，用于从原始退化图像提取退化表征，不同程度的退化图像提取出不同的退化表征，作为退化感知特征插值模块的条件信息；退化感知特征插值模块，用于从退化表征编码模块得到的退化表征学习得到特征插值掩码，再融合图像特征提取模块每一层提取到的特征图和