一种红外图像超分辨率重建方法.pdf

(19)中华人民共和国国家知识产权局(12)发明专利申请(10)申请公布号CN112561799A(43)申请公布日2021.03.26(21)申请号202011514281.4(22)申请日2020.12.21(71)申请人江西师范大学地址330100江西省南昌市紫阳大道99号(72)发明人胡蕾李云洪王足根罗斌(74)专利代理机构南昌市平凡知识产权代理事务所36122代理人夏材祥(51)Int.Cl.G06T3/40(2006.01)G06N3/04(2006.01)权利要求书1页说明书4页附图2页(54)发明名称一种红外图像超分辨率重建方法(57)摘要本发明公开一种红外图像超分辨率重建方法，首先构建GAN网络模型，然后对所构建的GAN网络模型进行训练，优化GAN网络模型中的参数。本发明在生成网络中引入密集残差网络以及渐进式上采样方式，获取各网络层提取的图像特征以保留图像更多的高频信息，提高了超分辨重建图像中的细节特征。提出的基于GAN网络的超分辨率重建方法，在GAN网络的生成网络中应用残差密集网络获取各网络层提取的图像特征，保留了图像更多的高频信息，并采用渐进式上采样方式，提升了大缩放因子下超分辨率重建效果。CN112561799ACN112561799A权利要求书1/1页1.一种红外图像超分辨率重建方法，其特征在于，首先构建GAN网络模型，然后对所构建的GAN网络模型进行训练，优化GAN网络模型中的参数；所述构建GAN网络模型包括生成网络、判别网络和感知损失计算；所述生成网络依次包括残差密集网络、渐进式上采样、卷积模块和tanh函数四个子模块，用于生成高分辨率红外图像；所述判别网络依次包括卷积神经网络、全连接神经网络(Dense)和Sigmoid激活函数三个子模块，用于判断生成高分辨率红外图像与原始高分辨率红外图像的相似性；所述感知损失计算由内容损失计算和对抗损失计算组成，感知损失计算的值等于内容损失计算的值与λ权重对抗损失计算的值之和，感知损失计算用于评判生成高分辨率红外图像与原始高分辨率红外图像之间的差异；所述训练GAN网络模型是在训练数据集准备、训练数据集分批次处理的基础上，对各批次图像进行训练，逐批次对模型参数更新，重复epoch次模型参数更新，利用整个训练数据集对模型迭代训练；所述训练数据集准备的过程为：利用收集的高分辨率红外图像数据集创建原始高分辨率图像数据集HR，其图像大小为n×n，HR下采样r倍，得到低分辨率红外图像集LR，其图像大小为(n/r)×(n/r)；所述训练数据集分批次处理的过程为：将LR和HR分批次处理，每批次包含batch_size幅图像，一个批次的低分辨率图像子集定义为LRi，对应的高分辨率图像子集定义为HRi；所述模型参数更新过程为：将一个批次的LRi输入成网络和至生成网络，生成网络对应输出生成高分辨率红外图像子集SRi，其尺寸均为n×n；将SRi与HRi输入到判别网络中，输出SRi与HRi相似的概率值；然后根据计算得到的感知损失更新生判别网络参数，直到更新次数或感知损失达到阈值；接着取下一批次低分辨率红外图像子集LRi+1重复模型参数更新过程，直到所有批次低分辨率红外图像子集处理完成；所述模型迭代训练过程为：将模型参数更新过程记为1次迭代次数，按原有训练数据集分批次的图像子集，对网络模型进行epoch次迭代，得到最终的生成网络模型。2CN112561799A说明书1/4页一种红外图像超分辨率重建方法技术领域[0001]本发明属于数字图像处理技术领域，适用基于残差密集网络和渐进式上采样的图像超分辨率重建，尤其涉及一种基于GAN网络的单帧红外图像超分辨率重建方法。背景技术[0002]热红外成像仪因可远距离感知对象的温度信息、不受光线限制等优点，广泛应用于设备检测、夜间监测等，但其根据温度所获得的红外图像，相对于可见光图像，分辨率较低。红外图像的超分辨率重建对于提高设备故障分析精度、目标检测精度等具有重要意义。[0003]图像超分辨率重建技术从图像源角度可以分为单帧和多帧。单帧图像超分辨率重建技术主要是针对一幅独立的低分辨率图像重建获得独立的高分辨率图像，而多帧图像超分辨率图像技术主要针对连续的相互关联的低分辨率图像重建获得连续的相互关联的高分辨率图像。相对而言，多帧图像超分辨率重建因可获得更多的关联信息，重建效果相对于单帧图像超分辨率重建效果好；单帧图像超分辨率重建相对于多帧图像超分辨率重建难度大。[0004]单帧图像超分辨率重建技术主要可分为基于插值的方法、基于重构的方法和基于学习的方法。基于插值的方法是将每个像素看作平面上的一个点，利用相邻已知像素的信息对未知像素信息进行补全，一般是由插值核完成，典型的基于插值的方法有最近邻插值法、双线性插值法和双立方插值法等，其复原后的图像会出现模糊