红外图像与可见光图像融合方法.pdf

(19)中华人民共和国国家知识产权局(12)发明专利申请(10)申请公布号CN109886908A(43)申请公布日2019.06.14(21)申请号201910113628.5(22)申请日2019.02.14(71)申请人西安理工大学地址710048陕西省西安市金花南路5号(72)发明人刘涵汪廷(74)专利代理机构北京国昊天诚知识产权代理有限公司11315代理人杨洲(51)Int.Cl.G06T5/50(2006.01)G06K9/46(2006.01)G06K9/62(2006.01)权利要求书2页说明书7页附图9页(54)发明名称红外图像与可见光图像融合方法(57)摘要红外图像与可见光图像融合方法，首先利用鲁棒性主成分分析将源图像进行分解得到源图像的稀疏分量和低秩分量，然后采用基于区域能量的融合方法融合源图像的稀疏分量，采用非下采样轮廓波变换方法对源图像的低秩分量进行尺度变换，得到低通子带和带通子带，采用基于区域能量的融合规则融合低通子带、梯度取大的融合规则融合带通子带，进行逆变换得到融合后的低秩分量。最后通过叠加得到红外图像与可见光图像的融合结果；本发明通过将图像分解为不同的信息并采用合适的方法进行融合，能够使融合图像信息更加丰富，图像效果更好。CN109886908ACN109886908A权利要求书1/2页1.红外图像与可见光图像融合方法，其特征在于，包括如下步骤：步骤1，RPCA图像分解RPCA图像的分解主要分为三步，首先将RPCA图像转化为列向量M∈Rmn×1；然后利用快速ALM对M进行RPCA图像分解，从优化问题式(1)中获得mn×1的低秩矩阵列向量L和稀疏矩阵列向量S；最后将矩阵L和S转换为m×n的矩阵；式中||||*表示矩阵的核范数，||||1表示矩阵的L1-范数，λ取值L,S为低秩矩阵和稀疏矩阵；RPCA图像分解完之后得到红外图像和可见光图像的稀疏分量和低秩分量，根据稀疏分量和低秩分量的特点，采用基于区域能量的方法融合稀疏分量、基于NSCT的方法融合低秩分量；步骤2，稀疏分量融合规则稀疏分量主要包括图像的提出目标信息，采用基于区域能量取大的融合规则；红外图像与可见光图像的稀疏分量融合主要分为以下三步：首先确定区域大小，然后通过式(2)计算每一点周围区域的能量；式中Q表示窗口的范围，E(m,n)为区域能量，d(m+x,n+y)表示源图像在(m+x,n+y)处的子带系数；最后通过式(3)区域能量取大的融合规则融合稀疏分量；式中dF(m,n),dTV(m,n),dIR(i,j)分别表示融合图像，可见光图像和红外图像的稀疏矩阵，ETV(m,n),EIR(m,n)表示区域能量；步骤3，基于NSCT的低秩分量融合利用NSCT对红外图像和可见光图像的低秩分量进行变换，得到相应的低通子带和带通子带；然后进行对应的子带融合；红外图像与可见光图像的低秩分量经过双通道非采样滤波器组滤波可以得到低通子带与高通子带，其中，每一次非采样塔式滤波器组滤波都必须对上一次滤波采用的滤波器按采样矩阵D＝2I进行上采样；然后将低通子带经高通滤波器滤波可以得到下一级分解的低通子带，经过上采样的高通滤波器滤波后会得到下一级分解的高通子带，不断循环此过程得到最后的分解过程。2.根据权利要求1所述的红外图像与可见光图像融合方法，其特征在于，步骤3所述的低通子带融合，采用如下融合规则：NSCT变换后的低通子带可以反映源图像的基础结构，大致体现图像轮廓的平均特性，其融合大致分为三步；首先选择窗口大小为3*3，然后通过式2计算去区域能量；然后通过下式计算权重：2CN109886908A权利要求书2/2页e(m,n)＝ETV(m,n)/(ETV(m,n)+EIR(m,n))(4)式中，e(m,n)为所求权重，ETV(m,n)和EIR(m,n)分别为可见光图像和红外图像低秩分量的低通子带的区域能量；最后结合计算得到的权重，融合规则可表达为下式，得到融合结果，dF(m,n)＝e(m,n)×dTV(m,n)+(1-e(m,n))×dIR(m,n)(5)式中dF(m,n)表示融合结果，e(m,n)表示加权系数，dTV(m,n),dIR(m,n)分别表示可见光和红外图像的矩阵，ETV(m,n),EIR(m,n)表分别示可见光和红外图像矩阵的区域能量。3.根据权利要求1所述的红外图像与可见光图像融合方法，其特征在于，步骤3所述的带通子带融合，采用如下融合规则：带通子带包含丰富的边缘和纹理信息，采用基于平均梯度的融合规则；首先确定窗口的大小，然后通过式(6)、(7)计算出区域的平均梯度，最后选择平均梯度大的点作为融合结果值；式(6)中G为平均梯度，块大小为M×N，分别表示x,y方向的梯度平方，式(7)中LFN(i,j),LFA(i,j),LFB(i,j)分别表示融合子