基于注意力及生成对抗网络的遥感影像目标检测方法.pdf

(19)中华人民共和国国家知识产权局(12)发明专利申请(10)申请公布号CN113989612A(43)申请公布日2022.01.28(21)申请号202110524297.1(22)申请日2021.05.13(71)申请人中国地质大学（武汉）地址430000湖北省武汉市洪山区鲁磨路388号(72)发明人李佳琪吴湘宁邓中港王稳陈苗代刚邓玉娇(51)Int.Cl.G06V20/00(2022.01)G06N3/04(2006.01)G06N3/08(2006.01)权利要求书2页说明书4页附图2页(54)发明名称基于注意力及生成对抗网络的遥感影像目标检测方法(57)摘要本发明提供基于注意力及生成对抗网络的遥感影像目标检测方法，包括对数据进行初始处理，之后将处理过的数据集输入到算法网络，输入图像流经由卷积神经网络构成的图像特征提取网络；由网络生成影像目标候选区域；将候选区域位置信息映射到对应的特征图；映射特征图输入全连接网络预测出准确的边界框位置并完成目标的分类，掩码生成分支则继续根据候选区域生成目标掩码，本发明用于解决一些特定目标数据稀缺，遥感图像中的飞机船只的目标检测问题。CN113989612ACN113989612A权利要求书1/2页1.基于注意力及生成对抗网络的遥感影像目标检测方法，其特征在于，包括以下几个步骤：S1、利用现有的MaskR‑CNN模型，在骨干网络ResNet101上嵌入注意力机制、特征金字塔FPN，在Mask掩码分支进行GAN对抗训练，得到训练好的目标检测识别深度网络；S2、对收集制作的遥感影像数据集上使用数据增强方法对数据集进行样本扩充；S3、将S2中扩充之后的遥感影像数据集送入S1中以ResNet101以及FPN作为骨干网络的深度卷积层生成特征图；S4、将S3中生成的特征图送入MaskR‑CNN中的区域推荐网络，使用卷积神经网络做分类与目标检测框回归，得到候选区域；S5、对S4中生成的候选区域做感兴趣区域对齐，重塑特征图的尺寸；S6、对S5中重塑尺寸后的特征图送入三个全连接网络，分别对图像做目标分类、目标检测框回归以及掩码生成。2.根据权利要求1所述的基于注意力及生成对抗网络的遥感影像目标检测方法，其特征在于，所述增强方法包括尺度变换、旋转以及马赛克。3.根据权利要求1所述的基于注意力及生成对抗网络的遥感影像目标检测方法，其特征在于，所述目标检测框的获得具体包括：S11、对初始图片进行尺寸归一化处理；S12、利用ResNet101进行图片特征提取，在骨干网络中加入注意力模块，计算图像的卷积特征，将最后一层卷积特征输入特征金字塔网络，构建包含语义与位置的特征图，最后以特征金字塔网络的输出特征图构建候选区域生成网络推荐图，生成候选区域；S13、将候选区域与感兴趣区域对齐，将其输入到全连层进行预测，得到多个目标检测候选框；S14、采用非极大值抑制算法，剔除多余的目标检测框，得到最终的目标检测框。4.根据权利要求1所述的基于注意力及生成对抗网络的遥感影像目标检测方法，其特征在于，所述MaskR‑CNN网络中用到RoIAlign，在原始池化操作上引入双线性内插算法，具体算法公式如下：xi代表池化前特征图上的像素点；yrj代表池化后的第r个候选区域的第j个点；i*(r，j)代表点yrj像素值的来源，最大池化的时候选出的最大像素值所在点的坐标，d(.)表示两点之间的距离，Δh和Δw表示xi与xi*(r，j)横纵坐标的差值，这里作为双线性内插的系数乘在原始的梯度上。5.根据权利要求1所述的基于注意力及生成对抗网络的遥感影像目标检测方法，其特征在于，所述MaskR‑CNN基础网络中用到的损失函数为分类损失、边界框回归损失、掩膜损失的和，具体算法公式如下：L＝Lcls+Lbox+Lmask其中，L表示模型总损失，Lcls表示分类损失，Lbox表示边界框损失，Lmask表示掩膜损失。6.根据权利要求1所述的基于注意力及生成对抗网络的遥感影像目标检测方法，其特征在于，所述MaskR‑CNN基础网络中用到注意力模块，具体算法公式如下：2CN113989612A权利要求书2/2页σ表示sigmoid函数，MLP表示多层感知器，用于共享参数，和分别代表全局平7*7均池化和全局最大值池化输出的特征，f表示在拼接后的特征图上做7*7的卷积，Ms(F)表示最终生成的空间注意力特征。7.根据权利要求1所述的基于注意力及生成对抗网络的遥感影像目标检测方法，其特征在于，所述MaskR‑CNN基础网络中用到Mask分支网络用于构建生成对抗网络，具体的优化目标函数如下所示：对应的损失函数公式如下，其中Pdata(x)为真实样本的分布，D(x)为判别器，G(z)为生成器；其中，LD为判别器的损失函数，LG为生成器的损失函数；n为样本数。3CN11