基于复数剪切波变换与深度卷积神经网络的图像融合方法.pdf

(19)中华人民共和国国家知识产权局(12)发明专利申请(10)申请公布号CN108629757A(43)申请公布日2018.10.09(21)申请号201810432232.2(22)申请日2018.05.08(71)申请人山东理工大学地址255020山东省淄博市张店区新村西路266号(72)发明人王雷杨利素郭全张胜男(74)专利代理机构广州市华学知识产权代理有限公司44245代理人冯炳辉(51)Int.Cl.G06T5/50(2006.01)G06N3/04(2006.01)权利要求书2页说明书5页附图2页(54)发明名称基于复数剪切波变换与深度卷积神经网络的图像融合方法(57)摘要本发明公开了一种基于复数剪切波变换与深度卷积神经网络的图像融合方法，包括步骤：1)对两幅待融合的源图像进行复数剪切波分解，分解过程包括多尺度剖分和方向局部化，分解后得到的是低频子带图像和高频子带图像；2)对得到的高频部分用基于深度卷积神经网络的融合规则进行高频融合，得到所需的高频系数；用引导滤波对低频部分进行融合，得到所需的低频系数；3)对得到融合后的低频系数和高频系数进行复剪切波逆变换，得到所需的融合图像。本发明不仅能较好地显示图像中的目标信息和轮廓特征，而且对比度较高，并保持良好的细节信息而不产生伪影和失真，融合效果较优，相比于其他传统方法有较显著的优势。CN108629757ACN108629757A权利要求书1/2页1.基于复数剪切波变换与深度卷积神经网络的图像融合方法，其特征在于，包括以下步骤：1)对两幅待融合的源图像进行复数剪切波分解，分解过程包括多尺度剖分和方向局部化，分解后得到的是低频子带图像和高频子带图像；2)对得到的高频部分用基于深度卷积神经网络的融合规则进行高频融合，得到所需的高频系数；用引导滤波对低频部分进行融合，得到所需的低频系数；3)对得到融合后的低频系数和高频系数进行复剪切波逆变换，得到所需的融合图像。2.根据权利要求1所述的基于复数剪切波变换与深度卷积神经网络的图像融合方法，其特征在于：在步骤1)中，所述多尺度剖分是指通过非下采样金字塔滤波器对复剪切波进行分解，经过一层分解后得到一个高频子带和一个低频子带，之后的非下采样金字塔滤波器分解只在上次分解后的低频子带上进行；所述方向局部化是指对多尺度分解后的高频子带采用复剪切波滤波器进行方向局部化。3.根据权利要求1所述的基于复数剪切波变换与深度卷积神经网络的图像融合方法，其特征在于：在步骤2)中，对得到的高频部分用基于深度卷积神经网络的融合规则进行高频融合，步骤如下：2.1.1)焦点检测让A和B表示两个高频子带图像，通过向训练后的深度卷积神经网络模型输入A和B，得到一个分数图，分数图中每个系数的取值范围为0到1，表明图像中一对大小为16×16块的焦点属性，值越接近1或0，来自图像A或B的补丁块越集中，为了生成具有相同大小的源图像的焦点图，表示为M，将分数图中的每个系数的值分配给M中对应的块内的所有像素，并且平均重叠的像素，从直观上看，具有丰富细节的区域的值接近1或0，而普通区域的值趋向于接近0.5的值；2.1.2)初始分割为了尽可能保留有用的信息，焦点图M需要进一步处理，与大多数空间域多聚焦图像融合方法一样，也采用常用的“选择最大”策略来处理焦点图，相应地，将0.5的固定阈值应用于焦点图中，生成二元图T，也就是说，焦点图被如下公式分割：其中，(x,y)代表像素值，焦点图中几乎所有的灰色像素都被正确地分类，这说明学习的深度卷积神经网络模型即使在源图像中的平滑区域也能获得精确的性能；2.1.3)一致性验证二进制分割图可能包含一些错误分类的像素，使用小区域去除策略能够有效将其删除，具体来说，一个小于区域阈值的区域在二进制映射中被反转，用该策略获得的初始决策图进行融合时，在聚焦和散焦区域之间的边界周围会存在一些不希望的伪像，影响最终的成像效果，能够利用引导滤波器来提高初始决策图的质量，将引导图像的结构信息转换为输入图像的滤波结果，采用初始融合图像作为引导图像来指导初始决策图的滤波，其中引导滤波算法中有两个自由参数：局部窗口半径r和正则化参数ε；2.1.4)融合2CN108629757A权利要求书2/2页利用得到的决策图D，用以下逐像素加权平均规则来计算融合图像FF(x,y)＝D(x,y)A(x,y)+(1-D(x,y))B(x,y)其中，(x,y)代表像素值，A和B代表输入的两个源图像高频子带图像。4.根据权利要求1所述的基于复数剪切波变换与深度卷积神经网络的图像融合方法，其特征在于：在步骤2)中，用引导滤波对低频部分进行融合，具体是用引导滤波对低频系数加权矩阵进行优化，使得亮度或颜色相近的相邻像素值也具有相近的权重，从而满足空间一致性，步骤如下：2.2.1)计算源图像低频系