用于多光谱图像的融合网络构建方法及相应的融合方法.pdf

(19)国家知识产权局(12)发明专利申请(10)申请公布号CN115909000A(43)申请公布日2023.04.04(21)申请号202211506177.XG06N3/08(2023.01)(22)申请日2022.11.29(71)申请人深圳供电局有限公司地址518000广东省深圳市罗湖区深南东路4020号电力调度通信大楼(72)发明人李忠民肖利龙李艳田杰杜进桥(74)专利代理机构深圳汇智容达专利商标事务所(普通合伙)44238专利代理师熊贤卿(51)Int.Cl.G06V10/80(2022.01)G06V10/44(2022.01)G06V10/82(2022.01)G06N3/0464(2023.01)权利要求书2页说明书10页附图5页(54)发明名称用于多光谱图像的融合网络构建方法及相应的融合方法(57)摘要本发明公开了一种用于多光谱图像的融合网络构建方法，包括步骤：建立两个基于卷积神经网络的特征提取模块；建立一基于卷积神经网络的特征重建模块；建立一特征解离网络；级联所述两个特征提取模块、特征重建模块以及特征解离网络，形成一融合网络训练模型，采用训练集对所述融合网络训练模型进行训练，并根据重建损失函数和分解损失函数计算的损失值对所述融合网络训练模型的参数进行调整；在训练完成后，根据所述两个特征提取模块、特征重建模块组成一个训练好的融合网络。本发明还提供了多光谱图像的融合方法。实施本发明，可以减少计算量，提高多光谱图像的融合效率和效果，能自适应地保留红外光图像的热辐射和可见光的丰富纹理细节。CN115909000ACN115909000A权利要求书1/2页1.一种用于多光谱图像的融合网络构建方法，其特征在于，至少包括如下步骤：步骤S10，建立两个基于卷积神经网络的特征提取模块，用于接收训练集中的红外光图像和可见光图像分别进行特征提取，并结合不同卷积层传递的特征信息与跳跃连接的特征信息补偿，获得红外光图像和可见光图像的高维多尺度特征图；步骤S11，建立一基于卷积神经网络的特征重建模块，用于接收所述红外光图像和可见光图像的高维多尺度特征图在通道维度上连接后的图像，获得初始融合图像，并采用重建损失函数对初始融合图像进行损失计算，所述重建损失函数包括强度与梯度损失函数；步骤S12，建立一特征解离网络，用于对初始融合图像进行分解，并采用分解损失函数对分解图像进行损失计算；步骤S13，级联所述两个特征提取模块、特征重建模块以及特征解离网络，形成一融合网络训练模型，采用训练集对所述融合网络训练模型进行训练，并根据重建损失函数和分解损失函数计算的损失值对所述融合网络训练模型的参数进行调整；步骤S14，在训练完成后，根据所述两个特征提取模块、特征重建模块组成一个训练好的融合网络。2.如权利要求1所述的方法，其特征在于，在所述步骤S10中进一步包括：建立两个基于卷积神经网络的特征提取模块，其中，每一特征提取模块至少包括独立的卷积层和Vnet网络，所述Vnet网络包含卷积、平均池化、上采样和跳跃连接，用于在提取低维图像特征的同时，每经过2个卷积层后对特征进行平均池化，同时将通道数翻倍；经过8个卷积层后，每经过2个卷积层对特征进行上采样，同时将通道数变为原来的1/2；其中，采用跳跃连接将第2层与第16层、第4层与14层、第6层与第12层和第8层与第10层进行跳跃连接，最终得到64通道的高维多尺度特征图(FR，FV)，所述的卷积层尺寸均为3×3，激活函数为LeakyRelu；将经过两个特征提取模块分别提取的红外光图像和可见光图像对应的特征图进行通道上的连接，得到的128维特征图，以作为后续特征重建模块的输入。3.如权利要求2所述的方法，其特征在于，在所述步骤S11进一步包括：建立一基于卷积神经网络的特征重建模块，所述特征重建模块包括：五层连续的卷积层，用于每经过一个卷积层将输入通道缩小到原来的二分之一，所述的卷积层的卷积核尺寸均为3×3，前四层的激活函数均为LeakyRelu，最后一层使用Tanh作为激活函数。4.如权利要求3所述的方法，其特征在于，所述步骤S11进一步包括：建立融合网络的损失函数，其计算公式如下：其中，是梯度损失，是强度损失，α和β分别是平衡强度损失项和梯度损失项的常数项；其中，利用梯度损失块采用下述公式计算获得梯度损失其中，i和j表示决策图和梯度图中第i行和第j列的像素，H和W表示图像的高度和宽度，2CN115909000A权利要求书2/2页Is1和Is2为源图像，Ife为融合后的图像，表示拉普拉斯算子；L(·)是损失块根据源图像的梯度水平生成的决策图；利用梯度损失块对源图像对进行高斯低通滤波，利用拉普拉斯算子得到梯度映射，根据梯度的大小在像素尺度上生成决策映射，利用下述公式获得权重图：其中，|·|为绝对值函数，为拉普