一种基于NSCT和结构张量的红外与可见光图像融合方法.pdf

(19)中华人民共和国国家知识产权局(12)发明专利申请(10)申请公布号CN110111290A(43)申请公布日2019.08.09(21)申请号201910373915.X(22)申请日2019.05.07(71)申请人电子科技大学地址611731四川省成都市高新区（西区）西源大道2006号(72)发明人周宁徐莉娟徐煜伟傅志中李晓峰徐进舒畅(74)专利代理机构电子科技大学专利中心51203代理人甘茂(51)Int.Cl.G06T5/50(2006.01)权利要求书2页说明书6页附图3页(54)发明名称一种基于NSCT和结构张量的红外与可见光图像融合方法(57)摘要本发明属于图像处理技术领域，具体提供一种基于NSCT和结构张量的红外与可见光图像融合方法，用以解决现有图像融合方法中红外图像信息引入过多而可见光图像细节信息保留不足的问题。本发明首先，对红外图像和可见光图像进行基于非下采样轮廓波变换的图像融合，得到预融合的非下采样轮廓波变换分解系数；然后，对红外图像和可见光图像进行基于梯度相似性滤波的加权结构张量融合，得到预融合的梯度场；再然后，建立优化模型，约束融合图像的非下采样轮廓波分解系数和梯度场；最后，利用共轭梯度法求解优化模型，得到融合图像。CN110111290ACN110111290A权利要求书1/2页1.一种基于NSCT和结构张量的红外与可见光图像融合方法，包括以下步骤：步骤1：将输入红外图像和可见光图像进行基于非下采样轮廓波变换的融合，得到预融合的非下采样轮廓波变换分解系数CF；步骤2：将输入红外图像和可见光图采用基于梯度相似性滤波的结构张量的融合方法进行融合，得到预融合的梯度场HF；步骤3：计算梯度算子NSCT分解算子ψ；步骤4：建立优化模型：其中，β为预设常量，IF表示待解融合图像；步骤5：利用共轭梯度法求解优化模型，得到融合图像IF。2.按权利要求1所述基于NSCT和结构张量的红外与可见光图像融合方法，其特征在于，所述步骤1的具体过程为：1-1.对红外图像进行鲁棒性主成分分析，得到红外图像的稀疏矩阵，然后将其归一化到[0,1]之间，作为权重矩阵记为ω(x,y)；1-2.对红外图像和可见光图像分别进行非下采样轮廓波变换，其中，拉普拉斯尺度滤波器为“pyrexc”，方向滤波器为“cd”，分解层数为{2,2,3,3}；得到红外图像的低频分解系数和高频分解系数可见光图像的低频分解系数和高频分解系数其中表示k图像源的第l层r方向上的高频分量；1-3.对低频部分，利用权重矩阵ω(x,y)作为权重进行融合；通过这个权重可以得到预融合的低频子带系数1-4.对高频部分，首先计算高频子带系数的局部显著性，选取局部显著性较大的高频子带系数作为融合图像的高频子带系数其中，k∈{IR,TV}表示局部显著性：其中，Θ表示大小为3×3的窗口。3.按权利要求1所述基于NSCT和结构张量的红外与可见光图像融合方法，其特征在于，所述步骤2的具体过程为：2-1.将红外图像与可见光图像转换到梯度域，得到它们的梯度场，然后进行平均结构张量融合，得到初步融合梯度场；2-2.计算源图像的8方向生长步长矩阵L，其中，点x处的8方向生长步长定义为：lx(i)＝minλ2CN110111290A权利要求书2/2页i＝1,2,3,...,8其中，为单位长度的向量，t为预设阈值，表示对源图像进行梯度运算；2-3.计算梯度相似性：其中，η为预设常量；Lfused为通过初步融合梯度场得到的生长步长矩阵，Lk为通过源图像得到的生长步长矩阵；2-4.计算梯度归属矩阵为：其中，表示对初步融合图像进行梯度运算；2-5.计算所使用的滤波器参数：其中，Q为滤波邻域，x是滤波的目标位置，为x归属图像源的梯度场；u为滤波邻域Q中的任意位置，w(u)为滤波权重；w(u)的公式如下：wdis(u)＝a·||u-x||2wdir(u)＝c·Step(cos(θ))·cos(θ)其中，σ、a、b、c均为预设常量，Step为阶跃函数；2-6.根据上述滤波器参数，设定滤波器尺寸，得到滤波器；并采用滤波器对初步融合梯度场进行滤波，得到预融合梯度场HF。3CN110111290A说明书1/6页一种基于NSCT和结构张量的红外与可见光图像融合方法技术领域[0001]本发明属于图像处理技术领域，涉及红外与可见光图像的融合处理，具体为一种基于NSCT和结构张量的红外与可见光图像融合方法。背景技术[0002]红外传感器采集到的红外图像反映了场景中目标和场景的温度分布，红外图像具有全天候工作和强抗干扰能力的优点；但是由于景物热平衡、大气衰减等原因，会造成红外图像分辨率低、整体效果偏暗、细节信息不清以及对温差的敏感等缺点，且由于红外传感器自身存在的缺点，会导致红外图像中可能包含大量噪声。可见光图像传感器利用