一种基于ResNet的红外与可见光图像融合方法.pdf

(19)中华人民共和国国家知识产权局(12)发明专利申请(10)申请公布号CN110189286A(43)申请公布日2019.08.30(21)申请号201910460002.1(22)申请日2019.05.30(71)申请人兰州交通大学地址730070甘肃省兰州市安宁西路88号测绘与地理信息学院(72)发明人张黎明李恒陈金萍将美容(51)Int.Cl.G06T5/50(2006.01)权利要求书1页说明书5页附图2页(54)发明名称一种基于ResNet的红外与可见光图像融合方法(57)摘要本发明公开一种基于ResNet的红外与可见光图像融合方法，包括：将源图分解成基础部分和细节部分，基础部分使用平均权重策略进行融合，生成新的基础部分；使用ResNet152对细节部分进行特征提取，得到多个特征层，对特征层分别进行L1正则化、卷积运算、双线性插值上采样和最大选择策略得到最大权重层，由最大权重层和细节部分相乘得到新的细节部分；最后由新的基础部分和细节部分对图像进行重建；该方法在保留图像显著特征的同时使融合图像获得了更多的纹理信息，且有效降低了伪影和噪声。CN110189286ACN110189286A权利要求书1/1页1.一种基于ResNet的红外与可见光图像融合方法，其特征在于，包括：S1：基础部分融合，使用平均权重策略对基础部分进行融合，具体为可见光图像的基础部分乘以其相应的权重系数的值与红外线图像的基础部分乘以其相应的权重系数的值相加即为融合后新的基础部分；S2：细节部分融合，先使用ResNet152提取特征，得到特征层。然后由特征层得到最大权重层。最后将最大权重层分别作为细节部分的权重系数得到细节部分融合图像；S3：图像重建，获得了融合后的基础部分和细节部分后，将二者相加即可得到最后的融合图像。2.根据权利要求1所述的一种基于ResNet的红外与可见光图像融合方法，其特征在于，在步骤S2中，使用ResNet152提取特征，然后由特征层得到最大权重层，最后将最大权重层分别作为细节部分的权重系数得到细节部分融合图像。3.根据权利要求1或2所述的一种基于ResNet的红外与可见光图像融合方法，其特征在于，在步骤S3中，由S1步骤中得到融合后的基础部分和S2步骤中得到的融合后细节部分，再将二者相加得到整体融合图像。2CN110189286A说明书1/5页一种基于ResNet的红外与可见光图像融合方法技术领域[0001]本发明涉及红外与可见光图像融合领域，更具体的说是涉及一种基于ResNet网络的简单高效的红外与可见光图像融合方法。背景技术[0002]图像融合是一种图像增强技术，目的是结合不同类型传感器捕捉到的信息生成内容更加丰富，细节更加清晰的图像，以便为后续处理和决策提供帮助。红外线和可见光的信号来自不同的模式，红外图像捕获的是热辐射信息，而可见光图像捕获的是光信息，它们的组合信息比使用各自单独的模式得到的信息更丰富。可见光图像具有较高的空间分辨率和细腻的纹理信息，但易被弱光照、雾和其它恶劣天气条件所干扰；红外图像能够抵抗这些干扰，但分辨率较低，纹理较差。因此，对红外线与可见光图像的融合可以做到信息互补。目前，有关红外线和可见光图像融合方法主要有：基于多尺度变换的方法、基于稀疏表示的方法、基于神经网络的方法。[0003]多尺度变换方法在红外与可见光图像融合中应用广泛。Huang等人提出了一种基于曲线变换和视觉注意机制的红外可见光图像融合方法，其模型可以提高融合图像的信噪比，突出模糊目标。Zhu等人提出了一种改进的多尺度高帽变换模型的红外可见光图像融合方法，该模型能够突出红外图像的目标，更好的保留可见光图像中的细节部分，比传统的多尺度变换图像方法有更好的效果。[0004]基于稀疏表示的图像融合方法是从大量的高质量图像中学习一个过完备的字典，该方法关键在于过完备字典和稀疏编码的构造。Yin等提出了一种将小波与字典学习结合的多尺度字典学习方法，充分利用了多尺度表示和字典学习的优点。Kim等人提出了一种基于图像块聚类和主成分分析(PCA)的字典学习方法，该模型不仅可以消除学习字典的冗余，而且可以消除学习字典的冗余,同时保证了红外和可见光图像融合的质量，但存在字典学习耗时过长的缺点。过完备字典构造完成后，可以利用稀疏编码技术得到表示系数。[0005]近年来，深度学习在图像融合中得到了广泛的应用，多数基于深度学习的图像融合仅仅将深度学习模型作为特征提取的手段，利用提取到的深度特征和待融合图像融合得到融合后图像。YuLiu等人提出了一种基于卷积神经网络的图像融合方法，使用输入图像的图像块及其模糊处理来训练网络，使网络具有分类能力，最后利用该网络实现源图像到融合图像端到端的映射。[0006]尽管基于深度学习的方法获得了更好的性能，但仍然存在许多