基于人脸退化模型迁移的自然场景图像盲复原系统.pdf

(19)中华人民共和国国家知识产权局(12)发明专利申请(10)申请公布号CN114170108A(43)申请公布日2022.03.11(21)申请号202111525479.7(22)申请日2021.12.14(71)申请人哈尔滨工业大学地址150001黑龙江省哈尔滨市南岗区西大直街92号(72)发明人李晓明左旺孟(74)专利代理机构哈尔滨华夏松花江知识产权代理有限公司23213代理人张利明(51)Int.Cl.G06T5/00(2006.01)G06N3/04(2006.01)G06N3/08(2006.01)权利要求书4页说明书8页附图2页(54)发明名称基于人脸退化模型迁移的自然场景图像盲复原系统(57)摘要一种基于人脸退化模型迁移的自然场景图像盲复原系统，属于图像复原技术领域。本发明针对低质量的自然场景图像由于无法模拟其真实退化过程而无法获得满意的复原结果的问题。包括：采用退化表示学习网络由真实低质量人脸图像样本和对应的复原后高质量人脸图像样本模拟图像真实退化过程，获得图像退化表示特征；采用退化图像生成网络通过退化表示特征控制退化过程获得新生成退化人脸图像；再由高质量自然图像通过退化表示特征控制自然图像退化过程，获得退化后低质量自然图像；再由采集的高质量自然图像与退化后目标场景低质量自然图像形成的数据对，对通用场景复原网络进行训练，获得目标场景复原网络。本发明用于真实场景下低质量自然图像的复原。CN114170108ACN114170108A权利要求书1/4页1.一种基于人脸退化模型迁移的自然场景图像盲复原系统，其特征在于包括，退化表示学习网络(100)，用于根据真实低质量人脸图像样本和对应的复原后高质量人脸图像样本，模拟复原后高质量人脸图像样本退化为真实低质量人脸图像样本的过程，获得图像退化表示特征，并完成网络的训练；退化表示池(200)，将每张真实低质量人脸图像样本和对应的复原后高质量人脸图像样本作为一个数据对，每个数据对对应一个退化表示特征，由所有的退化表示特征形成退化表示池；退化图像生成网络(300)，用于根据相应的退化表示特征对复原后高质量人脸图像样本进行退化处理，获得趋近于真实低质量人脸图像样本的新生成退化人脸图像，并完成网络的训练；退化图像生成网络(300)再由退化表示池(200)随机获取一个退化表示特征，对采集的高质量自然图像进行退化处理，获得退化后低质量自然图像；通用场景复原网络(400)，采用采集的高质量自然图像与退化后低质量自然图像形成的数据对，完成对通用场景复原网络(400)的训练；目标场景退化特征获得模块(500)，将目标场景低质量人脸图像和复原后目标场景高质量人脸图像采用退化表示学习网络(100)获得目标场景退化表示特征；再采用退化图像生成网络(300)由目标场景退化表示特征对采集的高质量自然图像进行退化处理，获得退化后目标场景低质量自然图像；再由采集的高质量自然图像与退化后目标场景低质量自然图像形成的数据对，对通用场景复原网络(400)进行训练，获得目标场景复原网络(600)；目标场景复原网络(600)用于目标场景图像的盲复原。2.根据权利要求1所述的基于人脸退化模型迁移的自然场景图像盲复原系统，其特征在于，所述退化表示学习网络(100)的图像处理过程包括：对真实低质量人脸图像样本和对应的复原后高质量人脸图像样本依次进行八次卷积、归一化、激活操作，以及第一次全连接、激活、第二次全连接操作，获得图像退化表示特征。3.根据权利要求2所述的基于人脸退化模型迁移的自然场景图像盲复原系统，其特征在于，所有归一化操作均采用普归一化；所有激活操作的激活函数均采用LeakyReLU；其中第一次卷积操作为64个3*3，步长为1的卷积操作；第二次卷积操作为128个3*3，步长为2的卷积操作；第三次卷积操作为256个3*3，步长为2的卷积操作；第四次到第八次卷积操作均为512个3*3，步长为2的卷积操作。4.根据权利要求3所述的基于人脸退化模型迁移的自然场景图像盲复原系统，其特征在于，退化图像生成网络(300)获得趋近于真实低质量人脸图像样本的新生成退化人脸图像的过程包括：将复原后高质量人脸图像样本进行随机裁剪，获得预期尺寸的图像块；对所有图像块依次进行七次卷积、归一化、激活操作；并在第二次卷积、归一化、激活操作后，获得尺度为1的高质量人脸特征；2CN114170108A权利要求书2/4页在第三次卷积、归一化、激活操作后，获得尺度为2的高质量人脸特征；在第四次卷积、归一化、激活操作后，获得尺度为3的高质量人脸特征；在第五次卷积、归一化、激活操作后，获得尺度为4的高质量人脸特征；在第六次卷积、归一化、激活操作后，获得尺度为5的高质量人脸特征；在第七次卷积、归一化、激活操作后，获得尺度为6的高质量人脸特征。5.根