基于改进GAN网络的红外图像与可见光图像融合方法.pdf

(19)国家知识产权局(12)发明专利申请(10)申请公布号CN115841438A(43)申请公布日2023.03.24(21)申请号202211300180.6(22)申请日2022.10.24(71)申请人中国科学院长春光学精密机械与物理研究所地址130033吉林省长春市东南湖大路3888号(72)发明人吴杰高策余毅张艳超(74)专利代理机构长春众邦菁华知识产权代理有限公司22214专利代理师张伟(51)Int.Cl.G06T5/50(2006.01)G06N3/0464(2023.01)G06N3/08(2023.01)权利要求书3页说明书6页附图3页(54)发明名称基于改进GAN网络的红外图像与可见光图像融合方法(57)摘要本发明涉及一种基于改进GAN网络的红外图像与可见光图像融合方法，该方法首先将红外图像与可见光图像分别通过引导滤波器分解为基本层图像和细节层图像；然后对可见光图像的基本层图像通过直方图映射的方式进行增强处理，使用改进LT算法对基本层图像进行融合；其次结合改进GAN算法中的生成器、编码器提取源图像的特征信息，并通过对抗学习的方式引导红外与可见光图像的细节层图像融合；最后为基本层融合图像和细节层融合图像设定相关参数，采用加权平均的方法得到最后的融合图像。本发明有效的避免了传统融合方法过度依赖于复杂融合规则的弊端，保留图像的全局结构特征和局部纹理，使图像拥有自然观感。CN115841438ACN115841438A权利要求书1/3页1.一种基于改进GAN网络的红外图像与可见光图像融合方法，其特征在于，包括以下步骤：(1)利用引导滤波器分别求解出红外图像I1的基本层图像和可见光图像I2的基本层图像并分别计算得到相应的细节层图像和细节层图像(2)利用直方图映射算法对基本层图像进行增强，得到增强基本层图像然后通过改进LT算法对增强基本层图像和基本层图像进行融合，得到基本层融合图像Fb，以及以细节层图像和细节层图像作为训练集对改进GAN网络进行融合模型训练，得到细节层融合图像Fd，其中所述改进GAN网络包括生成器、编码器、Dz判别器和目标判别器，编码器将输入的细节层图像通过卷积操作映射到低维特征向量z，低维特征向量z与标签向量l送入生成器，在生成器中使用2个反卷积的方式将低维图像映射成高维图像，将标签向量l连接到低维特征向量z，新的向量[z,l]反馈到生成器并输出细节层融合图像Fd，将细节层图像作为目标图像，在细节层图像与细节层图像之间构建Dz判别器，所述Dz判别器用来迫使生成的低维特征向量z的分布逐渐接近先验，在细节层图像与细节层融合图像Fd之间构建目标判别器，所述目标判别器用来将细节层融合图像Fd与细节层图像进行对抗学习；(3)将基本层融合图像Fb和细节层融合图像Fd中对应的像素点进行加权相加，得到最终的融合图像。2.根据权利要求1所述的基于改进GAN网络的红外图像与可见光图像融合方法，其特征在于，利用直方图映射算法对基本层图像进行增强时，使用局部熵去控制子直方图的映射范围，由局部熵控制的映射范围为：其中，γj∈[0,0.8]用于归一化，是子直方图区间[mj,mj+1]的累积分布函数，其中p()表示概率密度，u表示子直方图区间；增强处理后得到的增强基本层图像计算公式如下：其中，Rt为每个分块j的局部熵。3.根据权利要求1所述的基于改进GAN网络的红外图像与可见光图像融合方法，其特征在于，通过改进LT算法对增强基本层图像和基本层图像进行融合时，将增强基本层图2CN115841438A权利要求书2/3页像和基本层图像的L层金字塔分别分解为和其中l∈(1,2,3,4)；以图像中每个像素为中心的区域大小的m×n矩阵计算区域平均梯度，对顶层图像和进行融合，公式如下：其中，ΔIx和ΔIy分别为像素点f(x,y)在x轴和y轴上的一阶差分，分别以G1(i,j)和G2(i,j)表示顶层每个像素点的区域平均梯度，顶层图像融合可以表示为：底三层LT融合需要计算红外与可见光图像各层的区域能量计算公式如下：其中，p、q均为1，w为一个3×3矩阵，则当0＜l＜4时，l层的LT图像金字塔的融合结果如下式所示：4.根据权利要求1所述的基于改进GAN网络的红外图像与可见光图像融合方法，其特征在于，所述改进GAN网络引入深度特征迁移模块，所述深度特征迁移模块采用跳跃连接的方式整合每一阶段的特征，在各个输入端加上前一层的输出特征，并结合反卷积将低维图像映射成高维图像。5.根据权利要求1所述的基于改进GAN网络的红外图像与可见光图像融合方法，其特征在于，所述Dz判别器和所述目标判别器均包括三个卷积模块、一个BatchNorm归一化层、一个LeakyRelu激活函数层和一个全连接层。6.根据权利要求1所述的基于改进GAN网络的红外图像与可见光图像融合