人脸图像盲修复方法及系统.pdf

(19)中华人民共和国国家知识产权局(12)发明专利申请(10)申请公布号CN113763268A(43)申请公布日2021.12.07(21)申请号202110990835.6G06N3/04(2006.01)(22)申请日2021.08.26G06N3/08(2006.01)(71)申请人中国科学院自动化研究所地址100190北京市海淀区中关村东路95号(72)发明人赫然黄怀波李佳(74)专利代理机构北京路浩知识产权代理有限公司11002代理人李文清(51)Int.Cl.G06T5/00(2006.01)G06T5/50(2006.01)G06T5/10(2006.01)G06T19/20(2011.01)G06K9/62(2006.01)权利要求书3页说明书18页附图3页(54)发明名称人脸图像盲修复方法及系统(57)摘要本发明提供一种人脸图像盲修复方法及系统，首先获取待修复人脸图像；然后将待修复人脸图像输入至三维记忆调制生成模型，由三维记忆调制生成模型对待修复人脸图像进行盲修复，并得到三维记忆调制生成模型输出的盲修复后的目标人脸图像。三维记忆调制生成模型中包含的三维记忆调制模块可以从拓扑优化、小波记忆以及通用先验这三个方面对待修复人脸图像进行调制，并引入层规范化层面以及实例规范化层面的特征融合，最终得到修复后的目标人脸图像。通过三维记忆调制生成模型，可以克服待修复失真人脸图像中可能包含的退化模式带来的不确定性，极大地提高了人脸图像盲修复的效果，使得人脸图像盲修复更加精准，得到的目标人脸图像的图像质量更高。CN113763268ACN113763268A权利要求书1/3页1.一种人脸图像盲修复方法，其特征在于，包括：获取待修复人脸图像；将所述待修复人脸图像输入至三维记忆调制生成模型，由所述三维记忆调制生成模型对所述待修复人脸图像进行盲修复，并得到所述三维记忆调制生成模型输出的盲修复后的目标人脸图像；其中，所述三维记忆调制生成模型包括拓扑优化模块、小波记忆模块、通用先验模块以及三维记忆调制模块；所述拓扑优化模块用于提取所述待修复人脸图像中优化拓扑的多尺度空间特征；所述通用先验模块用于基于高斯噪声分布确定所述待修复人脸图像对应的多阶通用先验特征；所述小波记忆模块用于确定所述待修复人脸图像对应的小波高频编码；所述三维记忆调制模块用于将所述三维记忆调制模块中上一级记忆调制单元的输出特征作为当前记忆调制单元的输入特征，确定所述输入特征对应的原始注意力图；将所述多尺度空间特征、所述多阶通用先验特征以及所述小波高频编码作为特征调制的控制量，基于所述输入特征确定所述特征调制的控制量对应的层规范化层面的注意力图以及实例规范化层面的注意力图；并基于所述原始注意力图、所述层规范化层面的注意力图以及所述实例规范化层面的注意力图，对所述待修复人脸图像进行逐级调制，得到所述目标人脸图像；所述三维记忆调制生成模型基于第一类人脸图像样本以及所述第一类人脸图像样本对应的第二类人脸图像样本训练得到，所述第一类人脸图像样本基于所述第二类人脸图像样本确定，且所述第一类人脸图像样本的图像质量低于所述第二类人脸图像样本的图像质量。2.根据权利要求1所述的人脸图像盲修复方法，其特征在于，所述三维记忆调制模块具体用于：对所述输入特征进行卷积操作以及概率归一化操作，确定所述输入特征对应的原始注意力图；将所述输入特征进行层规范化，得到层规范化特征，并对所述层规范化特征进行卷积操作以及概率归一化操作，确定所述层规范化层面的注意力图；将所述输入特征进行实例规范化，得到实例规范化特征，并对所述实例规范化特征进行卷积操作以及概率归一化操作，确定所述实例规范化层面的注意力图。3.根据权利要求2所述的人脸图像盲修复方法，其特征在于，所述三维记忆调制模块还具体用于：基于所述层规范化层面的注意力图，采用所述特征调制的控制量，对所述层规范化特征进行加权调制，得到层调制特征；基于所述实例规范化层面的注意力图，采用所述特征调制的控制量，对所述实例规范化特征进行加权调制，得到实例调制特征；基于所述原始注意力图，对所述层调制特征以及所述实例调制特征进行加权融合，得到目标调制特征；基于所述目标调制特征，得到所述目标人脸图像。4.根据权利要求1所述的人脸图像盲修复方法，其特征在于，所述待修复人脸图像从包含有背景区域的待修复图像中提取得到；相应地，所述得到所述三维记忆调制生成模型输出的盲修复后的目标人脸图像，之后2CN113763268A权利要求书2/3页还包括：将所述目标人脸图像与所述待修复图像中的背景区域进行融合，对所述待修复图像进行修复。5.根据权利要求1所述的人脸图像盲修复方法，其特征在于，所述第一类人脸图像样本基于如下方式确定：在所述第二类人脸图像样本上添加高斯模糊或运动模糊，得到模糊样本；将