基于生成对抗式双通道权重分配的图像融合方法及装置.pdf

(19)国家知识产权局(12)发明专利申请(10)申请公布号CN114972146A(43)申请公布日2022.08.30(21)申请号202210603129.6G06N3/04(2006.01)(22)申请日2022.05.25G06N3/08(2006.01)(71)申请人武汉工程大学地址430000湖北省武汉市东湖新技术开发区光谷一路206号(72)发明人李璇张成徐宇航王杰马雷朱丽娜黄正华程莉(74)专利代理机构武汉智嘉联合知识产权代理事务所(普通合伙)42231专利代理师张璐(51)Int.Cl.G06T5/50(2006.01)G06V10/764(2022.01)G06V10/74(2022.01)G06V10/80(2022.01)权利要求书3页说明书11页附图5页(54)发明名称基于生成对抗式双通道权重分配的图像融合方法及装置(57)摘要本发明提供了一种基于生成对抗式双通道权重分配的图像融合方法及装置，其方法包括：构建初始图像融合模型，包括生成器模块和孪生鉴别器模块，生成器模块包括伪孪生特征提取模块和特征融合模块；获取红外图像样本和可见光图像样本，并基于伪孪生特征提取模块获得红外特征图和可见光特征图；基于特征融合模块生成融合特征图；基于孪生鉴别模块分别获得融合特征图与红外图像样本的第一相似度及与可见光图像样本的第二相似度；对初始图像融合模型进行训练，获得目标图像融合模型；基于目标图像融合模型对待融合红外图像和待融合可见光图像进行融合，获得目标融合图像。本发明可获得具有清晰目标和丰富细节纹理的目标融合图像。CN114972146ACN114972146A权利要求书1/3页1.一种基于生成对抗式双通道权重分配的图像融合方法，其特征在于，包括：构建初始图像融合模型，所述初始图像融合模型包括生成器模块和孪生鉴别器模块，所述生成器模块包括伪孪生特征提取模块和特征融合模块；获取红外图像样本和可见光图像样本，并基于所述伪孪生特征提取模块分别提取所述红外图像样本和所述可见光图像样本的特征，对应获得红外特征图和可见光特征图；基于所述特征融合模块将所述红外特征图和所述可见光特征图进行融合，生成融合特征图；基于所述孪生鉴别模块分别获得所述红外图像样本与所述融合特征图的第一相似度以及所述可见光图像样本与所述融合特征图的第二相似度；基于预设的损失函数、所述第一相似度、所述第二相似度、所述红外图像样本和所述可见光图像样本对所述初始图像融合模型进行训练，获得训练完备的目标图像融合模型；基于所述目标图像融合模型对待融合红外图像和待融合可见光图像进行融合，获得目标融合图像。2.根据权利要求1所述的基于生成对抗式双通道权重分配的图像融合方法，其特征在于，所述基于预设的损失函数、所述第一相似度、所述第二相似度、所述红外图像样本和所述可见光图像样本对所述初始图像融合模型进行训练，获得训练完备的目标图像融合模型，包括：判断所述第一相似度和所述第二相似度的差值是否小于预设差值；当所述第一相似度和所述第二相似度的差值小于所述预设差值时，所述初始图像融合模型为所述目标图像融合模型；当所述第一相似度和所述第二相似度的差值大于或等于所述预设差值时，基于预设的损失函数、所述红外图像样本和所述可见光图像样本对所述初始图像融合模型继续进行训练。3.根据权利要求1所述的基于生成对抗式双通道权重分配的图像融合方法，其特征在于，所述伪孪生特征提取模块包括红外特征提取单元和可见光特征提取单元，所述红外特征提取单元和所述可见光特征提取单元均包括一个第一特征提取卷积单元以及四个第二特征提取卷积单元，所述第一特征提取卷积单元的包括均包括卷积核为5×5的第一卷积层和第一leakyReLU激活层，所述第二特征提取卷积单元包括卷积核为3×3的第二卷积层、批量归一化层和第二leakyReLU激活层。4.根据权利要求3所述的基于生成对抗式双通道权重分配的图像融合方法，其特征在于，所述特征融合模块包括第一融合卷积单元、第二融合卷积单元、第三融合卷积单元、跨连接卷积层以及融合目标融合leakyReLU激活层，所述第一融合卷积单元包括卷积核为1×1的第一融合卷积层和第一融合leakyReLU激活层，所述第二融合卷积单元包括卷积核为3×3的第二融合卷积层和第二融合leakyReLU激活层，所述第三融合卷积单元包括卷积核为1×1的第三融合卷积层和第三融合Tanh激活层，所述跨连接卷积层的卷积核为1×1。5.根据权利要求4所述的基于生成对抗式双通道权重分配的图像融合方法，其特征在于，所述孪生鉴别模块包括红外孪生鉴别单元和可见光孪生鉴别单元，所述红外孪生鉴别单元用于确定所述红外图像样本与所述融合特征图的第一相似度，所述可见光孪生鉴别单元用于确定所述可见光图像样本与所述融合特征图的第二相似度。2CN114