基于NSCT变换的红外与可见光图像PCNN融合算法.docx

基于NSCT变换的红外与可见光图像PCNN融合算法
基于NSCT变换的红外与可见光图像PCNN融合算法
摘要：红外图像和可见光图像在特定环境下提供了不同的信息。由于其各自的特性，将红外图像和可见光图像进行融合可以提高图像质量和信息内容。本文提出了一种基于NSCT变换的红外与可见光图像PCNN融合算法，该算法通过NSCT变换将红外图像和可见光图像转换到频域，然后利用自适应的像素融合策略生成融合图像，最后通过PCNN算法对融合图像进行特征增强。实验结果表明，该算法能够有效地融合红外图像和可见光图像，并提取出更多的有用信息。
关键词：红外图像；可见光图像；NSCT变换；PCNN融合算法
1.引言
红外图像和可见光图像在不同波段下提供了不同的信息，可以互相弥补。红外图像具有热辐射、透明度和夜间可见等特点，可以在夜间或恶劣天气下提供更多的信息。而可见光图像具有色彩和细节等特点，可以提供更高的空间分辨率。因此，将红外图像和可见光图像进行融合可以提高图像的质量和信息内容。
目前，图像融合主要有像素级融合和特征级融合两种方法。像素级融合方法将红外图像和可见光图像的对应像素进行直接融合，通过数学运算来得到融合图像。特征级融合方法则是先提取红外图像和可见光图像的特征，并将这些特征进行组合来生成融合图像。
在本文中，我们提出了一种基于NSCT变换的红外与可见光图像PCNN融合算法。NSCT变换是一种多分辨率分析技术，可以将图像分解成不同尺度和方向的子带。通过NSCT变换，我们可以将红外图像和可见光图像转换到频域，然后通过自适应的像素融合策略生成融合图像。最后，我们将融合图像输入到PCNN算法中进行特征增强，以提取更多的有用信息。
2.方法
2.1NSCT变换
NSCT变换是一种多尺度和多方向的图像分解方法。通过NSCT变换，我们可以将图像分解成不同尺度和方向的子带，从而提取出图像的局部特征。在本文中，我们将红外图像和可见光图像分别进行NSCT变换，得到它们在频域的表示。
2.2像素融合策略
在将红外图像和可见光图像进行融合之前，我们需要确定它们的权重。在本文中，我们采用自适应的像素融合策略来确定红外图像和可见光图像的权重。具体来说，我们首先计算红外图像和可见光图像在每个像素位置处的方差。然后，根据方差的大小来确定红外图像和可见光图像的权重。具体来说，如果红外图像在某个像素位置处的方差大于可见光图像在同一位置处的方差，则给予红外图像更高的权重，反之亦然。
2.3PCNN算法
PCNN算法是一种生物启发式的图像处理算法，可以用于图像的特征增强。在本文中，我们将融合图像作为输入，并利用PCNN算法对图像进行特征增强。具体来说，我们首先构建一个三层的神经网络结构，其中输入层对应融合图像的每个像素位置，隐藏层对应图像的相邻像素位置，输出层对应特征增强后的图像的像素位置。然后，我们根据融合图像和特征增强后的图像之间的差异来调整神经网络的连接权重，从而达到特征增强的目的。
3.实验结果与分析
为了验证我们提出的红外与可见光图像PCNN融合算法的有效性，我们利用多组红外与可见光图像进行实验。实验中，我们采用PSNR和SSIM来量化融合图像的质量，以及F值来评估图像的边缘保留能力。实验结果表明，我们提出的算法在图像质量和信息内容方面均优于其他方法。
4.结论
本文提出了一种基于NSCT变换的红外与可见光图像PCNN融合算法。该算法通过NSCT变换将红外图像和可见光图像转换到频域，然后利用自适应的像素融合策略生成融合图像，最后通过PCNN算法对融合图像进行特征增强。实验结果表明，该算法能够有效地融合红外图像和可见光图像，并提取出更多的有用信息。在未来的研究中，我们将进一步优化算法的性能，并将其应用到其他领域中。
参考文献：
[1]LiuC,WangZ,DongW,etal.Infraredandvisibleimagefusionthroughgradienttransferandtotalvariationminimization[J].InformationFusion,2015,26:41-53.
[2]ZhangY,GaoJ,XieD,etal.Spatialfrequencydomainfusionframeworkbasedonmulti-scaledecompositionforvisibleandinfraredimages[J].InformationFusion,2017,38:41-50.
[3]ChenC,JinX,HuY,etal.InfraredandvisibleremotesensingimagefusionbasedonNSCTandimprovedPCNN[J].InfraredPhysics&Technology,2018,88: