一种红外图像与可见光图像的融合方法.pdf

(19)中华人民共和国国家知识产权局(12)发明专利申请(10)申请公布号CN112232403A(43)申请公布日2021.01.15(21)申请号202011091470.5(22)申请日2020.10.13(71)申请人四川轻化工大学地址643000四川省自贡市汇东学苑街180号(72)发明人骆忠强代金鹏(74)专利代理机构成都正华专利代理事务所(普通合伙)51229代理人李蕊(51)Int.Cl.G06K9/62(2006.01)G06N3/04(2006.01)权利要求书3页说明书8页附图3页(54)发明名称一种红外图像与可见光图像的融合方法(57)摘要本发明公开了一种红外图像与可见光图像的融合方法，本发明将红外图像与可见光图像分解为基础层与细节层，能在保留边缘细节的同时去除小规模伪影；基于VGG‑19网络结构逐层提取图像细节特征，并得到红外图像与可见光图像的活动映射权值图；最后分别就基础层与细节层采取不同的融合策略。本方法得到的融合结果既保留了可见光图像的纹理信息，又保留了红外图像的热辐射信息。本发明可应用于目标检测、目标跟踪、夜色视觉、生物识别等领域。CN112232403ACN112232403A权利要求书1/3页1.一种红外图像与可见光图像的融合方法，其特征在于，包括以下步骤：S1、分别获取红外图像和可见光图像的原始制导图像；S2、分别对红外图像和可见光图像的原始制导图像进行迭代，获取红外图像所对应的基层图像和细节层图像，获取可见光图像所对应的基层图像和细节层图像；S3、分别获取红外图像所对应的细节层图像的活动映射图和可见光图像所对应的细节层图像的活动映射图；S4、将红外图像所对应的基层图像和可见光图像所对应的基层图像进行融合，得到基层融合图像；S5、将红外图像所对应的细节层图像的活动映射图和可见光图像所对应的细节层图像的活动映射图进行融合，得到细节层融合图像；S6、将基层融合图像和细节层融合图像相加得到红外图像与可见光图像融合后的图像。2.根据权利要求1所述的红外图像与可见光图像的融合方法，其特征在于，所述步骤S1中获取原始制导图像的具体方法为：根据公式：对源图像Xk上的像素点p进行高斯滤波，得到像素点p处的原始制导数据Gk(p)，进而得到整体的原始制导图像Gk，Gk(p)∈Gk；其中k∈{I,V}，分别表示红外图像与可见光图像；q表示像素点p的相邻像素；Up表示正则化函数；N(p)为像素点p相邻像素的集合；exp(·)表示以自然常数e为底的指数函数；σs为结构尺度参数；Xk(q)为源图像Xk上的像素点q。3.根据权利要求2所述的红外图像与可见光图像的融合方法，其特征在于，所述步骤S2中对原始制导图像进行迭代的具体方法为：根据公式：对原始制导数据Gk(p)进行第i次迭代，得到第i次迭代的结果Ok(p)，进而得到原始制导i+1图像整体上第i次迭代的结果Ok，即基层图像Bk，Ok(p)∈Ok＝Bk；其中K(p)表示像素点p处i1i第i次迭代输出结果；K(p)表示像素点p处第i-1次迭代输出结果，K(p)＝Gk(p)；K(q)表示1像素点p的相邻像素q第i-1次迭代输出结果，K(q)＝Gk(q)；σN表示范围权值；根据公式：Dk＝Xk-Bk获取细节层图像Dk。2CN112232403A权利要求书2/3页4.根据权利要求3所述的红外图像与可见光图像的融合方法，其特征在于，对原始制导图像进行迭代的次数上限为4。5.根据权利要求1所述的红外图像与可见光图像的融合方法，其特征在于，所述步骤S3中获取细节层图像的活动映射图的具体方法包括以下子步骤：S3-1、建立具有四个卷积层的VGG-19网络，根据公式：获取细节层图像在第j个卷积层的M个信道映射图其中k∈{I,V}，分别表示红外图像与可见光图像；Dk表示细节层图像；Φj(·)表示VGG-19网络的第j个卷积层；M＝64×2j-1；S3-2、根据公式：获取细节层图像中点(x,y)处的初始活动水平数据进而得到细节层图像整体对应的初始活动水平图其中||·||1表示l1范数；S3-3、根据公式：获取细节层图像中点(x,y)处的活动映射图进而得到细节层图像整体对应的活动映射图其中ω为块的大小决定参数；表示点(x,y)在块大小内的相邻像素点的初始活动水平数据。6.根据权利要求1所述的红外图像与可见光图像的融合方法，其特征在于，所述步骤S4的具体方法包括以下子步骤：S4-1、将基层图像Bk由m×n的二维矩阵转换为1×(m×n)的单行矩阵B'k；其中单行矩阵B'k的(((x-1)×n+1):(x×n))段元素值为Bk中第x行元素值；S4-2、根据公式：采用mapminmax函数对单行矩阵B'k进行归一化处理，得到点(x,y)处的元素Bk’(x,y)的权值进而得到整体的权值矩阵其中k∈{I