基于域对抗转换的盲图像超分辨方法及系统.pdf

(19)国家知识产权局(12)发明专利申请(10)申请公布号CN114626989A(43)申请公布日2022.06.14(21)申请号202210324405.5G06V10/80(2022.01)(22)申请日2022.03.30G06V10/82(2022.01)G06K9/62(2022.01)(71)申请人合肥综合性国家科学中心人工智能G06N3/04(2006.01)研究院（安徽省人工智能实验室）G06N3/08(2006.01)地址230088安徽省合肥市望江西路5089号,中国科学技术大学先进技术研究院未来中心B1205-B1208申请人安徽大学(72)发明人刘耀李成龙王文忠汤进(74)专利代理机构合肥市浩智运专利代理事务所(普通合伙)34124专利代理师张景云(51)Int.Cl.G06T3/40(2006.01)G06T5/50(2006.01)权利要求书4页说明书12页附图3页(54)发明名称基于域对抗转换的盲图像超分辨方法及系统(57)摘要本发明提供一种基于域对抗转换的盲图像超分辨方法，包括：输入一张具有未知退化信息的低分辨率图像，使用退化图像编码器提取输入图像信息，为了避免退化信息估计存在的缺陷，引入域转换模块实现从退化数据域到干净数据域的转换，同时尽可能保留输入图像的自身信息。此外，由于域转换过程中不可避免损坏图像本身信息，为了恢复域转换过程中损失的图像信息，我们引入特征增强模块根据输入特征恢复部分细节信息，同时为了充分利用图像自身的信息，我们在特征上采用模块中设计了多尺度残差结构从不同感受野提取信息并使用选择性核方式融合多尺度特征。CN114626989ACN114626989A权利要求书1/4页1.基于域对抗转换的盲图像超分辨方法，其特征在于，包括以下步骤：域对抗阶段：步骤11：利用真实退化数据r和合成退化数据x学习一个具有最优参数的退化图像的编码器ER，X和解码器GR，X，并使用判别器拉近真实数据和退化数据分布之间的差异；步骤12：利用与合成退化图像数据x相对应的干净图像数据y学习一个具有最优参数的干净图像编码器EY和解码器GY，使用干净图像编码器EY将干净图像压缩编码到一个高斯空间中，为后期的域映射操作提供基础；步骤13：利用干净图像数据y学习一个具有最优参数的超分辨图像编码器HG，并将输入图像编码到符合高斯分布的特征空间中，为后续的图像超分辨操作提供基础；2、盲图像超分辨阶段步骤21：将已有的包含未知退化信息的低分辨率图像输入退化图像编码器ER，X中提取图像特征，对图像本身的信息进行整合，将输入图像编码到一个低维隐空间中；步骤22：将步骤21获得的图像特征输入域映射模块中，将含有退化信息的低维图像特征映射到一个不含退化信息的干净图像的特征，最终达到去除输入图像中包含的退化信息的目的；步骤23：将步骤22获得的干净图像特征分别输入干净图像解码器GY和特征生成器Gfeat；干净图像解码器GY与干净图像编码器EY采用对称结构设计，并由图像恢复任务的重建损失函数进行约束，生成不含退化信息的低分辨率图像，同时在解码过程中会生成2个不同尺度的特征，该特征同步整合到特征增强模块Gfeat中，对输入的特征进行信息增强，判别器用于判别生成器生成的信息是否真实以及将生成器输出的特征映射到高斯空间中进行后续的超分辨操作，最后得到干净的高分辨率图像。2.根据权利要求1所述的基于域对抗转换的盲图像超分辨方法，其特征在于，所述域对抗阶段学习过程具体为：退化图像编码器ER，X学习：根据batchsize的大小随机选择若干真实的和若干合成的宽高为[H，W]的退化图像，并将其输入到退化图像编码器ER，X中，ER，X将输入图像编码为具有64通道，宽高分别为[H/2，W/2]的特征，并通过KL散度将输出的特征约束到且符合高斯分布的数据域中；再设计一个域判别网络用以区分当前编码来自于真实退化图像数据域还是合成退化图像数据域；再设计一个与编码器ER，X结构对称的解码器GR，X，GR，X根据编码器ER，X输出的特征重建回原输入图像，并通过感知损失和对抗损失进行监督；干净图像编码器GY学习：输入batchsize个宽高分别为[H，W]的干净图像，并将其输入到干净图像编码器EY中，通过约束EY使得EY编码的特征符合高斯分布，编码的特征具有64通道、宽高分别[H/2，W/2]；再将编码的特征送入干净图像解码器GY中，通过重建原输入的干净图像来学习一个具有强大解码能力的解码器GY；超分辨图像编码器HG学习：输入batchsize个宽高分别为[H，W]的干净图像，并将其输入到超分辨图像编码器HG中，将输入图像编码到一个高斯空间中，其编码特征的通道为64、宽高为[H，W]；再对编码的特征进行超分辨操作，用以学习一个次优的超分辨编码器。3.根据权