一种基于图像融合的多模态图像目标检测方法.pdf

(19)中华人民共和国国家知识产权局(12)发明专利申请(10)申请公布号CN110322423A(43)申请公布日2019.10.11(21)申请号201910355408.3(22)申请日2019.04.29(71)申请人天津大学地址300072天津市南开区卫津路92号(72)发明人侯春萍夏晗杨阳莫晓蕾徐金辰(74)专利代理机构天津市北洋有限责任专利代理事务所12201代理人程毓英(51)Int.Cl.G06T5/50(2006.01)G06T7/00(2017.01)G06N3/04(2006.01)权利要求书1页说明书6页附图4页(54)发明名称一种基于图像融合的多模态图像目标检测方法(57)摘要本发明涉及一种基于图像融合的多模态图像目标检测方法，包括：1)将预先采集好的红外图像及其可见光图像，制作多模态图像数据集；2)将预处理好的成对图像作为融合模型中生成模型G的输入；生成模型G基于U-Net等全卷积网络，以残差网络为基础的卷积神经网络作为生成网络模型结构，包括收缩过程和扩张过程，收缩路径包括多个卷积加ReLU激活层再加最大池化(MaxPooling)结构，下采样的每一步特征通道数都增加一倍，输出生成的融合图像；融合图像输入融合模型中的判别网络模型；根据训练过程中损失函数的变化，按迭代次数调节学习率训练指标，经训练，基于自有多模态图像数据集，能够得到同时保留红外图像热辐射特征和可见光图像结构性纹理特征的图像融合模型。CN110322423ACN110322423A权利要求书1/1页1.一种基于图像融合的多模态图像目标检测方法，包括下列步骤：1)将预先采集好的红外图像及其可见光图像，制作多模态图像数据集，图像格式均为单通道，包含具有结构和纹理特征的可见光图像和具有热成像信息的红外图像，按照图像模态分别制作训练集和测试集。2)将步骤1得到的训练集中的红外和可见光的多模态图像对进行包括进行裁剪和旋转平移操作在内的图像预处理，将预处理好的成对图像作为融合模型中生成模型G的输入；生成模型G基于U-Net等全卷积网络，以残差网络为基础的卷积神经网络作为生成网络模型结构，包括收缩过程和扩张过程，收缩路径包括多个卷积加ReLU激活层再加最大池化(MaxPooling)结构，下采样的每一步特征通道数都增加一倍，输出生成的融合图像；3)将步骤2中得到生成模型G输出的融合图像输入融合模型中的判别网络模型D，判别网络模型D由一组孪生架构的卷积神经网络组成，对生成的融合图像进行无监督的质量评估，包括一组由交叉熵、重建误差、结构误差组成的损失函数，用以对融合图像和训练集中的原图像进行相似度丈量，来确定图像融合任务的完成度；同时优化生成网络G和判别网络D，方法为：输入训练集中原图像，更新G，误差变大；更新D，误差变小；更新G，重建误差变小，最终实现纳什均衡的动态平衡和同时优化；优化方法采用最小二乘的生成对抗方法；4)重复进行步骤3，根据训练过程中损失函数的变化，按迭代次数调节学习率训练指标.经训练，基于自有多模态图像数据集，能够得到同时保留红外图像热辐射特征和可见光图像结构性纹理特征的图像融合模型；5)在步骤1中构造的测试集中取红外和可见光的多模态图像对，输入到步骤4中训练得到的融合模型中，继而输出融合图像；再将得到的测试集，融合串联进基于深度卷积神经网络的检测模型，以在检测行人的红外热信息进行试例分析，得到行人的位置以及置信度。2CN110322423A说明书1/6页一种基于图像融合的多模态图像目标检测方法技术领域[0001]本发明属于深度学习、计算机视觉和图像融合领域，涉及一种基于深度神经网络的红外-可见光的多模态图像融合模型和目标检测模型的目标检测方法。背景技术[0002]在自然环境中，物体会辐射出人眼无法看到的不同频率的电磁波，称为热辐射[1]。使用红外传感器所拍摄出的红外图像，能够记录不同物体的热辐射。红外(InfraredImage,IR)图像相较于可见光(VisibleImage,VI)图像，具有如下特征：能够减少阳光，烟雾等外部环境的影响[1]；对具有明显红外热特性的物体和区域敏感。目前红外图像中的目标检测任务应用较广，包括军事、电力、建筑等方向均有重要应用。然而，红外图像不具有较高的空间分辨率和较丰富的细节和明暗对比度，可见边缘和物体细节等往往不可见。红外传感器仅从一个方面获取信息，因此无法提供所有必需的信息。[0003]对于红外图像而言，利用图像融合技术，可以针对同一个目标得到的不同的图像，以最大化提取有用信息为目的，生成包含可见光图像中丰富的细节信息和红外图像中热信息的互补的融合图像[2]，可作为目标检测这一高层视觉任务的基础；也可以应用于医疗影像、电力缺陷等具体应用任务之上。[0004]目标检测(ObjectDetecti