一种基于双判别器生成对抗网络的图像融合方法和系统.pdf

(19)国家知识产权局(12)发明专利申请(10)申请公布号CN115830384A(43)申请公布日2023.03.21(21)申请号202211586407.8G06N3/08(2023.01)(22)申请日2022.12.09(71)申请人华中科技大学地址430074湖北省武汉市洪山区珞喻路1037号(72)发明人胡若澜杨晨王哲张桂林(74)专利代理机构华中科技大学专利中心42201专利代理师彭军芬(51)Int.Cl.G06V10/764(2022.01)G06V10/80(2022.01)G06V10/82(2022.01)G06N3/0464(2023.01)G06N3/048(2023.01)权利要求书2页说明书6页附图2页(54)发明名称一种基于双判别器生成对抗网络的图像融合方法和系统(57)摘要本发明公开了一种基于双判别器生成对抗网络的图像融合方法和系统，属于计算机视觉领域。方法包括，构建并训练双判别器生成对抗图像融合模型；其中，生成器包括稠密特征提取融合模块、特征增强模块和解码重建模块；稠密特征提取融合模块提取并融合待融合的两帧图像的特征得到融合特征图；特征增强模块对所述融合特征图进行全局平均池化操作、两个全连接层、以及Sigmoid激活函数处理后得到特征增强系数，再利用特征增强系数与所述融合特征图进行相乘操作得到增强特征图；解码重建模块对增强特征图进行解码重建得到融合图像。本发明有效保留了不同源图像中的信息，同时提高了生成器的拟合建模不同源图像融合的能力，提高了融合图像质量。CN115830384ACN115830384A权利要求书1/2页1.一种基于双判别器生成对抗网络的图像融合方法，其特征在于，包括：S1.构建并训练双判别器生成对抗图像融合模型；所述双判别器生成对抗图像融合模型包括一个生成器和两个判别器，其中，生成器包括稠密特征提取融合模块、特征增强模块和解码重建模块；稠密特征提取融合模块提取并融合待融合的两帧图像的特征得到融合特征图；特征增强模块对所述融合特征图进行全局平均池化操作、两个全连接层、以及Sigmoid激活函数处理后得到特征增强系数，再利用特征增强系数与所述融合特征图进行相乘操作得到增强特征图；解码重建模块对增强特征图进行解码重建得到融合图像；S2.将待融合的两帧图像输入双判别器生成对抗图像融合模型，生成器输出得到图像融合结果。2.根据权利要求1所述的一种基于双判别器生成对抗网络的图像融合方法，其特征在于，生成器损失函数为：其中，Ladv1为生成器与判别器1之间的对抗损失，Ladv2为生成器与判别器2之间的对抗损失，SSIM1和SSIM2为生成器的生成图像与图像1和图像2的结构相似系数，Lcontent为内容损失，α为平衡系数；v和i分别表示待融合的两帧图像，G(v，i)表示生成器输出的融合图像，D1(·)表示判别器1的输出，D2(·)表示判别器2的输出，N表示批处理大小。3.根据权利要求2所述的一种基于双判别器生成对抗网络的图像融合方法，其特征在于，解码重建模块由多个卷积层组成，每层采用批归一化处理，最后一个卷积层使用tanh激活函数，其余卷积层使用ReLU激活函数。4.根据权利要求2所述的一种基于双判别器生成对抗网络的图像融合方法，其特征在于，每个判别器包括依次连接的多个卷积层和1个线性层。5.根据权利要求4所述的一种基于双判别器生成对抗网络的图像融合方法，其特征在于，两个判别器损失函数定义如下：其中，v和i分别表示待融合的两帧图像，G(v,i)表示生成器输出的融合图像，D1(·)表示判别器1的输出，D2(·)表示判别器2的输出，N表示批处理大小。2CN115830384A权利要求书2/2页6.根据权利要求1‑5任一项所述的一种基于双判别器生成对抗网络的图像融合方法，其特征在于，稠密特征提取融合模块由多个卷积层组成；每一层将前面所有层的输出特征在通道上进行连接作为输入。7.一种基于双判别器生成对抗网络的图像融合系统，其特征在于，包括：模型构建和训练模块，构建并训练双判别器生成对抗图像融合模型；所述双判别器生成对抗图像融合模型包括一个生成器和两个判别器，其中，生成器包括稠密特征提取融合模块、特征增强模块和解码重建模块；稠密特征提取融合模块提取并融合待融合的两帧图像的特征得到融合特征图；特征增强模块对所述融合特征图进行全局平均池化操作、两个全连接层、以及Sigmoid激活函数处理后得到特征增强系数，再利用特征增强系数与所述融合特征图进行相乘操作得到增强特征图；解码重建模块对增强特征图进行解码重建得到融合图像；在线融合模块，将待融合的两帧图像输入双判别器生成对抗图像融合模型，生成器输出得到图像融合结果。8.一种计算机可读介质，所述计算机可读介质上存储计算机程序，所述计算机程序被处理器执行时