一种基于多尺度特征融合的无人机小目标检测方法.pdf

(19)国家知识产权局(12)发明专利申请(10)申请公布号CN114581799A(43)申请公布日2022.06.03(21)申请号202210155269.1(22)申请日2022.02.18(71)申请人南京航空航天大学地址210016江苏省南京市秦淮区御道街29号(72)发明人孙涵马田源(74)专利代理机构江苏圣典律师事务所32237专利代理师贺翔(51)Int.Cl.G06V20/17(2022.01)G06K9/62(2022.01)G06V10/80(2022.01)G06V10/764(2022.01)权利要求书2页说明书6页附图4页(54)发明名称一种基于多尺度特征融合的无人机小目标检测方法(57)摘要本发明公开了一种基于多尺度特征融合的无人机小目标检测方法，属于无人机小目标检测技术领域，采用了本发明的RetinaNet在无人机小目标检测任务中，能够获得更好的检测效果。本发明基于RetinaNet根据无人机小目标的特点进行了有针对性地改进，采用了新的特征融合方式，该特征融合方发基于像素洗牌上采样模块PSU设计了像素洗牌特征融合网络PSFF，改进了上采样方式造成特征失真的问题，使网络能够将深层的语义信息更有效地向浅层传递，以此增强了浅层小目标的特征表示，并且在自建蜂群无人机数据集上进行实验，验证了本发明可以提升无人机小目标的检测效果。CN114581799ACN114581799A权利要求书1/2页1.一种基于多尺度特征融合的无人机小目标检测方法，其特征在于，包括以下步骤：步骤1：无人机数据集制作：采集无人机图像，并对采集到的图像进行数据清洗，然后对其中的无人机小目标进行标注；步骤2：搭建无人机检测模型：基于无人机数据集，训练无人机检测模型；步骤3：测试图像检测过程：利用训练好的目标检测网络以及网络权重参数来检测测试图像中的无人机小，并且输出检测结果。2.根据权利要求1所述的基于多尺度特征融合的无人机小目标检测方法，其特征在于，步骤1中对采集到的图像进行数据清洗为删除掉模糊以及不包含目标的图像。3.根据权利要求1所述的基于多尺度特征融合的无人机小目标检测方法，其特征在于，步骤2具体包括以下步骤：步骤(2.1)从主干网络中获取特征层:在主干特征提取网络ResNet50的{C2，C3，C4，C5}特征层，选择其中的{C3，C4，C5}作为多尺度特征融合的几个融合特征层，特征层对应的通道数为{512，1024，2048}；步骤(2.2)融合前处理:采用像素洗牌上采样的方法，首先将步骤(2.1)的输出特征{C3，C4，C5}中的C4和C5两个特征通过卷积核为1的卷积进行2倍通道扩增，接着经过像素洗牌进行2倍上采样，此时分辨率扩大了2倍，通道维数缩减到为原来的0.5倍，最后得到上采样的结果，记作{P3，P4}，通道数分别为{512，1024}；步骤(2.3)融合操作：将步骤(2.2)的输出特征{P3，P4}与步骤(2.1)的输出特征{C3，C4，C5}中的C3和C4两个特征，相加和，对应得到{T3，T4}特征，其对应通道数为{512，1024}，同时直接取得步骤(2.1)的输出特征{C3，C4，C5}中的C5作为T5，最终该步骤输出特征为{T3，T4，T5}，分别对应通道数为{512，1024，2048}；步骤(2.4)融合后处理：输入特征为{T3，T4，T5}，分别对应通道数为{512，1024，2048}，首先对三个输入特征分别使用卷积核为3的卷积进行去除混叠，接着采用卷积核为1的卷积进行通道压缩，将三个特征通道数统一压缩到256，最后该步骤的输出特征为{F3，F4，F5}，对应通道数为{256，256，256}；步骤(2.5)目标检测：对步骤(2.4)中融合了多尺度特征的{F3，F4，F5}，分别进行目标类别分类以及目标边界框回归，得到最后的检测结果；步骤(2.6)训练检测模型：采用的预训练模型是由Pytorch官方提供的在Imagenet上进行了预训练的模型，所有图像在送入模型前尺寸都被统一调整为1333×800，设置训练迭代次数为12次、动量为0.9、批大小为4、初始学习率为0.0005、每训练4个epoch权重衰减为原来的0.3倍，根据以上训练配置得到网络模型参数。4.根据权利要求3所述的基于多尺度特征融合的无人机小目标检测方法，其特征在于，步骤(2.2)中的采样的步骤整理为如下公式：y′＝PS(x′)2CN114581799A权利要求书2/2页其中PS代表PixelShuffle，是像素洗牌英文名简称，默认扩张因子为2，代表使用像素洗牌方法进行2倍上采样，其中输入为x′∈Rw×h×4c其通道数量为4c，输出为y′∈R2w×2h×c其通道数量为c，在这过程中通道数由4c减少到c，图像尺寸由w×h扩增到2w×