一种基于迁移学习的红外图像超分辨率重建方法.pdf

(19)国家知识产权局(12)发明专利申请(10)申请公布号CN114708148A(43)申请公布日2022.07.05(21)申请号202210381997.4G06N3/04(2006.01)(22)申请日2022.04.12G06N3/08(2006.01)(71)申请人中国电子技术标准化研究院地址100007北京市东城区安定门东大街1号(72)发明人范科峰洪开(74)专利代理机构成都宏田知识产权代理事务所(普通合伙)51337专利代理师钟隆辉(51)Int.Cl.G06T3/40(2006.01)G06V10/44(2022.01)G06V10/80(2022.01)G06V10/82(2022.01)G06K9/62(2022.01)权利要求书2页说明书5页附图2页(54)发明名称一种基于迁移学习的红外图像超分辨率重建方法(57)摘要本发明涉及图像超分辨率重建技术领域，具体地说是一种基于迁移学习的红外图像超分辨率重建方法，包括构建全局网络，在两个相邻的局部蒸馏模块之间采用差值算法，获取图像的高频信息，在局部模块之间采用级联连接，保留图像的低频信息和采用预训练网络与微调网络的迁移学习策略，本发明同现有技术相比，根据迁移学习的思想，通过构建了特征蒸馏网路、提炼分支、局部蒸馏模块差值算法和训练内容，利用小样本红外图像集，重建出高质量的红外图像。CN114708148ACN114708148A权利要求书1/2页1.一种基于迁移学习的红外图像超分辨率重建方法，其特征在于，包括以下步骤：S1：构建全局网络，主要由浅层特征提取层、局部蒸馏模块为核心的非线性映射层和上采样层组成，所述上采样层采用sub‑pixel函数对提取的特征图像进行放大；S2：在两个相邻的局部蒸馏模块之间采用差值算法，获取图像的高频信息；S3：在局部模块之间采用级联连接，保留图像的低频信息；S4：在训练阶段，采用预训练网络与微调网络的迁移学习策略。2.根据权利要求1所述的一种基于迁移学习的红外图像超分辨率重建方法，其特征在于，所述S1的具体步骤为：S2‑1：在浅层特征提取层中，仅采用一个3×3卷积来提取浅层特征；S2‑2：在非线性映射层中，通过特征蒸馏模块，该模块将提取的浅层特征进行两分支处理；其中一个分支为蒸馏分支，采用1×1卷积对浅层提取的特征进行处理，保留部分粗糙的特征至后续的连接层；另一分支为提炼分支，采用非对称扩张卷积残差块来进一步提炼出细致的特征；对于非对称扩张卷积残差块，是将1×3卷积与3×1卷积进行串联连接，并对第一个卷积的输入采用恒等连接，之后采用Relu函数对该残差块进行激活；所述两个分支分别进行三次迭代，并且在提炼分支的末端采用带有扩张卷积的非对称扩张卷积残差块进行并行连接，用来扩大网络的感受视野；将两个分支提取的特征在通道维度进行特征连接后，采用通道混洗机制，增加通道间的信息交互能力；在局部蒸馏模块的末端引入增强型空间注意力机制，重新校准融合特征的权重。3.根据权利要求1所述的一种基于迁移学习的红外图像超分辨率重建方法，其特征在于，所述S2中低频信息对应图像的整体轮廓，高频信息则是对应图像的细节信息；所述两个相邻的局部蒸馏模块，后一个模块mn相比于前一个模块mn‑1，经历更多的卷积层，mn包含更多的高频信息，mn与mn‑1有大量相同的低频信息，采用差值算法mn‑mn‑1获取图像的高频特征信息。4.根据权利要求1所述的一种基于迁移学习的红外图像超分辨率重建方法，其特征在于，所述S3中将非线性映射层中的局部蒸馏模块采用级联方式进行连接，将每一个局部蒸馏模块的输出传递到后续的连接层，将低频信息保留下来，保证信息的不丢失。5.根据权利要求1所述的一种基于迁移学习的红外图像超分辨率重建方法，其特征在于，所述S4的训练步骤包括：S41，预训练阶段将800张DIV2K可视化图像作为训练数据集进行训练，并采用MAE作为损失函数，获取可视化图像之间的非线性映射关系，将此作为基底；在预训练结束后，保留该网络权值不变，将其作为预训练网络，进行下一阶段微调训练，所述MAE损失函数表达式为：ISR和IHR分别代表重建后的SR图像和与其对应的真值HR图像；S42，对于微调网络，采用小样本的55张红外图像集进行训练，采用MSE作为损失函数，获取红外图像之间的非线性映射关系，所述MSE损失函数表达式为：2CN114708148A权利要求书2/2页ISR和IHR分别代表重建后的SR图像和与其对应的真值HR图像。3CN114708148A说明书1/5页一种基于迁移学习的红外图像超分辨率重建方法技术领域[0001]本发明涉及图像超分辨率重建技术领域，具体地说是一种基于迁移学习的红外图像超分辨率重建方法。背景技术[0002]由于外界环境或采集设备的影响，所获取图像往往呈现分辨