多源遥感图像融合目标综合检测方法.pdf

(19)中华人民共和国国家知识产权局(12)发明专利申请(10)申请公布号CN113963240A(43)申请公布日2022.01.21(21)申请号202111159163.0(22)申请日2021.09.30(71)申请人西南电子技术研究所(中国电子科技集团公司第十研究所)地址610036四川省成都市金牛区茶店子东街48号(72)发明人李雪向涛赖作镁(74)专利代理机构成飞(集团)公司专利中心51121代理人郭纯武(51)Int.Cl.G06V10/80(2022.01)G06V10/774(2022.01)G06V20/40(2022.01)G06K9/62(2022.01)权利要求书3页说明书7页附图1页(54)发明名称多源遥感图像融合目标综合检测方法(57)摘要本发明公开的一种多源遥感图像融合目标综合检测方法，检测准确率和可靠性高。本发明通过下述技术方案实现：基于目标综合检测，输入配对的可见光和红外对地观测图像数据，构建可见光、红外单源和多源目标检测数据集，根据各个数据集的训练样本，分别构建可见光、红外单源和图像特征级融合的多源目标检测网络模型；多源目标检测网络模型提取不同源的互补特征进行交互学习，获得多尺度的多源融合特征，基于多尺度检测网络预测目标在图像中的位置和类别；将单源、多源测试数据集分别输入单源、多源目标检测模型，模型输出对应单源和多源的目标检测结果，根据目标关联的检测结果，决策级融合输出目标综合检测结果。CN113963240ACN113963240A权利要求书1/3页1.一种多源遥感图像融合目标综合检测方法，其特征在于包括如下步骤：利用飞行器、卫星对地观测平台上搭载的可见光、红外传感器获得观测同一区域配对的可见光Image_VIS和红外图像Image_IR，基于单源检测、多源检测以及决策级融合的目标综合检测，输入一一配对的可见光和红外对地观测图像数据，进行图像分辨率统一和配准，同时对遥感图像上的目标进行标注，根据统一分辨率和配准后的图像以及标注信息，制作可见光、红外、可见光‑红外图像对三种遥感单源和多源目标检测数据集，并划分训练集、验证集和测试集；基于深度神经网络，使用单源目标检测数据集的训练集样本，分别训练可见光和红外单源目标检测网络，根据可见光、红外单源和多源目标检测数据集的训练集样本，分别构建可见光、红外单源和多源图像特征级融合的多源目标检测网络模型，多源目标检测网络提取不同源的多尺度互补特征进行交互学习，对多个对应特征层获取的多源特征进行自适应加权，得到多尺度的多源融合特征；对于多尺度的多源融合特征图，多尺度检测网络运用卷积预测器进行处理，获得目标位置和类别的预测结果；将单源可见光数据、红外数据和多源可见光‑红外数据对测试集数据分别输入可见光和红外单源目标检测模型、多源目标检测模型，模型分别输出可见光图像和红外图像单源目标检测结果和多源目标检测结果，将多源图像目标检测结果分别和可见光、红外单源图像目标检测结果进行目标关联，获得映射到对应可见光和红外图像上的关联结果，对可见光和红外图像上的关联结果进行决策级融合，得到最终的目标综合检测结果。2.如权利要求1所述的多源遥感图像融合目标综合检测方法，其特征在于：采用下采样技术将可见光图像变换到红外图像的分辨率，然后采用图像配准技术，获得可见光图像和红外图像间的同名点，图像配准算法通过计算映射矩阵，计算出映射后的图像，实现图片配准；分别对统一分辨率和配准后的可见光图像和红外图像中目标的位置和类别进行标注，目标框和类别共同构成图像的标签，可见光图像及相应的标签构成可见光单源目标检测数据集S1，红外图像及相应的标签构成红外单源目标检测数据集S2，可见光‑红外图像对及相应的标签构成多源目标检测数据集S3，并将单源和多源数据集中对应样本划分成训练集、测试集和验证集。3.如权利要求1所述的多源遥感图像融合目标综合检测方法，其特征在于：基于深度神经网络的目标检测算法YOLOv4(YouOnlyLookOnceversion4)来构建单源目标检测模型，基于训练集数据训练目标检测网络YOLOv4，首先训练可见光图像的单源目标检测模型，输入可见光单源目标检测数据集S1中的训练图像和标注，根据验证集中表现确定模型最优参数，得到可见光单源检测模型Model_VIS；类似的，输入红外单源目标检测数据集S2中的训练图像和对应的标注信息，训练基于目标检测网络YOLOv4的红外图像单源目标检测模型，根据模型在验证集图像上的检测结果调整模型参数，获得红外单源检测模型Model_IR；使用多源目标检测数据集S3中的训练集样本训练多源目标检测网络模型Model_Multi，多源目标检测网络模型主要包括互补特征提取网络和多尺度检测网络两个组成部分。4.如权利要求1所述的多源遥感图像融合目标综