自动驾驶场景下基于改进faster-RCNN的小目标检测方法.pdf

(19)中华人民共和国国家知识产权局(12)发明专利申请(10)申请公布号CN114202743A(43)申请公布日2022.03.18(21)申请号202111061549.8G06K9/62(2022.01)(22)申请日2021.09.10G06N3/04(2006.01)G06N3/08(2006.01)(71)申请人湘潭大学地址411105湖南省湘潭市雨湖区羊牯塘27号(72)发明人周彦文思捷李云燕王冬丽(74)专利代理机构长沙市融智专利事务所(普通合伙)43114代理人欧阳迪奇(51)Int.Cl.G06V20/56(2022.01)G06V10/80(2022.01)G06V10/44(2022.01)G06V10/764(2022.01)G06V10/82(2022.01)权利要求书3页说明书8页附图6页(54)发明名称自动驾驶场景下基于改进faster-RCNN的小目标检测方法(57)摘要本发明属于深度学习及计算机视觉领域，具体涉及一种自动驾驶场景下基于改进faster‑RCNN的小目标检测方法。本发明选取ResNet‑50作为主干特征提取网络，首先引入可变形卷积思路对主干网进行改进，提高了卷积神经网络的变换建模能力；然后在主干网络最后两层添加空间注意力机制，能准确定位小目标，提高小目标检测的准确率并增强小目标的特征提取；同时引入特征金字塔结构，结合了自上而下和自下而上以及高低维之间的特征融合策略，从而实现了特征增强；最后利用Soft‑NMS去除冗余边框，得到最好的检测结果；并利用多尺寸训练和大尺度检测的增强方法，提高模型鲁棒性。CN114202743ACN114202743A权利要求书1/3页1.一种自动驾驶场景下基于改进faster‑RCNN的小目标检测方法，其特征在于，包括以下步骤：步骤1：在自动驾驶场景下所拍摄的照片中搜集与驾驶相关的目标数据，制作数据集；步骤2：搭建神经网络模型框架；所述的神经网络模型的框架基于Faster‑RCNN构成，包括主干特征提取网络、特征融合网络、区域建议网络和分类与回归网络；所述的主干特征提取网络采用ResNet‑50，并用可变形卷积V2代替ResNet‑50最后两层中的传统卷积，同时在最后两层中添加空间注意力机制；所述的特征融合网络将主干特征提取网络提取的特征图进行改进的特征金字塔融合后传入区域建议网络生成一系列建议框，对目标进行初步定位，然后将建议框统一至相同大小，经过分类与回归网络处理得到最终结果；步骤3：训练神经网络模型；采用多尺度训练的方法训练神经网络模型，通过预热学习率的方式，以二分类交叉熵和SmoothL1Loss作为分类损失函数和回归损失函数，并采用随机梯度下降法来优化损失函数；步骤4：将待识别的图片输入训练好的神经网络模型中，得到检测结果。2.根据权利要求1所述的一种自动驾驶场景下基于改进faster‑RCNN的小目标检测方法，其特征在于，所述的步骤1中，与驾驶相关的目标数据包括车辆、行人、交通信号灯和交通标志。3.根据权利要求1所述的一种自动驾驶场景下基于改进faster‑RCNN的小目标检测方法，其特征在于，所述的步骤2中，所述的可变形卷积V2计算公式为：其中y表示输出的特征图，w表示的是每个采样值的权重，pn是卷积输出位置p0对应所在的一个整数偏移，用来提供附近语义信息，x表示输入的特征图，Δpn为偏移量，R表示在输入的特征图上采样所使用的规则网格，R＝{(‑1,‑1),(‑1,0),...,(0,1),(1,1)}，Δmn表示每个偏移的采样点的权重，Δmn∈[0，1]。4.根据权利要求1所述的一种自动驾驶场景下基于改进faster‑RCNN的小目标检测方法，其特征在于，所述的步骤2中，空间注意力机制是使用全局平均池化和全局最大值池化对输入的特征图F进行压缩操作，对输入的特征图F分别在通道维度上做mean和max操作，然后将得到的两个特征图按通道维度拼接，再经过一个卷积操作，降维为1个通道，使得到的特征图在空间维度上与输入的特征图一致，最后经过sigmoid函数生成空间注意力特征Ms；其中空间注意力机制Ms(F)计算公式为：式中，σ表示Sigmoid函数，AvgPool(F)表示对输入的特征图进行平均池化，MaxPool(F)表示对输入的特征图进行最大池化，和分别代表全局平均池化和全局最大池化池化输出的特征，f7*7表示空间注意力机制中使用的7×7卷积核；所述的步骤2中添加空间注意力机制，是将上一层产生的特征图做一次卷积计算产生2CN114202743A权利要求书2/3页输入特征图F，F经过空间注意力模块后得到空间注意力特征Ms，将F与Ms进行逐元素乘法操作得到新的特征图F1，然后将F1与F进行相加操作，保留ResNet的残差模块，最后生成的特征图