基于卷积神经网络和动态引导滤波的图像融合方法.pdf

(19)中华人民共和国国家知识产权局(12)发明专利申请(10)申请公布号CN110555820A(43)申请公布日2019.12.10(21)申请号201910803493.5(22)申请日2019.08.28(71)申请人西北工业大学地址710072陕西省西安市友谊西路127号申请人西安爱生技术集团公司(72)发明人王健杨珂秦春霞(74)专利代理机构西北工业大学专利中心61204代理人刘新琼(51)Int.Cl.G06T5/50(2006.01)权利要求书1页说明书7页附图3页(54)发明名称基于卷积神经网络和动态引导滤波的图像融合方法(57)摘要本发明涉及一种基于卷积神经网络和动态引导滤波的多聚焦图像融合的新方法。通过构建焦点检测的卷积神经网络，生成从源图像到焦点图的直接映射，避免了人工手动操作，得到聚焦区域和非聚焦区域的像素分布图，随后通过小区域移除和边缘保留的动态引导滤波操作，得到高质量的融合图像。CN110555820ACN110555820A权利要求书1/1页1.一种基于卷积神经网络和动态引导滤波的图像融合方法，其特征在于步骤如下：步骤1：将源图像A和B输入到CNN模型训练来获得得分图S，所述的CNN模型包括三个卷积层和一个最大池层，每个卷积层的内核大小和步幅分别设置为3×3和1；最大池层的内核大小和步幅分别设置为2×2和2；所述的得分图S即网络的输出是与256维向量完全连接的二维向量，产生两个类别的概率分布；对得分图S按像素点进行2×2大小的填充，对不同填充块重叠的像素进行平均处理，得到与源图像大小相同焦点图M；步骤2：采用“选择-最大”策略将焦点图M分割为二进制图T(x,y)：步骤3：采用动态引导滤波对二进制图T(x,y)中的错误分类像素进行小区域移除以及边缘进行平滑操作得到决策图D(x,y)：D(x,y)＝RGF(T,σS,σr,t)其中RGF表示动态引导滤波操作，σS表示标准差，σr表示范围权重，t表示迭代次数；步骤4：将步骤3得到的决策图D(x,y)按像素加权平均规则进行处理，得到最终的融合图像F：F(x,y)＝D(x,y)A(x,y)+(1-D(x,y))B(x,y)其中，A(x,y)，B(x,y)分别表示两个输入图像。2CN110555820A说明书1/7页基于卷积神经网络和动态引导滤波的图像融合方法技术领域[0001]本发明涉及一种多聚焦图像的图像融合算法，可以应用于各种军用或民用的图像处理系统。背景技术[0002]无人机作为空中的侦察、武器平台，通常携带多种成像传感器，如红外、可见光、激光、SAR等传感器，其目的是为了综合利用多传感器图像信息使无人机更好地执行空中侦察、战场监视等任务。图像融合技术是对多种成像传感器获得的图像信息进行整合，利用成像传感器之间的互补信息得到一幅目标与场景均清晰的图像，这将非常有利于无人机对地面目标的精确侦察、识别及定位等。融合后的图像清晰度更高、信息量更大、获取目标和场景的信息更全面且更适合人类视觉感知，因此在军事国防(无人机自主导航、遥感目标探测)、民用(如医疗诊断、摄影等)领域发挥这越来越重要的作用。[0003]近年来，深度学习已经被广泛地应用于计算机视觉与图像处理领域中，而且在不同的计算机视觉任务中取得显著的成就，它的优势在于能够使用大量数据来训练网络和学习目标特征，从而避免复杂的手动设计，并且还可以获得更好的结果。文献“MaJ,ZhouZ,WangB,etal.Infraredandvisibleimagefusionbasedonvisualsaliencymapandweightedleastsquareoptimization.InfraredPhysics&Technology.”提出了一种基于提出了一种基于加权最小二乘优化的新型多尺度融合方法，首先，使用滚动引导滤波器和高斯滤波器将输入图像分解为基本层和细节层。其次，利用视觉显著图来融合基本层以去除残余低频信息。最后，采用加权最小二乘的方法来优化细节层信息。论文得到的融合图像细节会更自然地出现并适合人类视觉感知。文献“LiuY,ChenX,WardR,etal.ImageFusionWithConvolutionalSparseRepresentation.IEEESignalProcessingLetters.”通过提出新的图像融合算法，首先，通过高斯滤波将图像分解为基础层和细节，然而，利用基于卷积稀疏表示的方法进行两尺度图像的融合，最后，利用加权平均实现图像的融合。本方法克服了传统的基于稀疏表示的方法细节保留能力低的问题。上述文献所提出的方法用于图像融合可以得到一定的效果，但这些方法存在算法实现复杂、实现效率不高以及融合效果不理想的问题。为此，本发明提出一种基于卷积神经网络(Convolutio