一种基于改进FCOS算法的无人车辆搭载摄像头目标检测方法.pdf

(19)国家知识产权局(12)发明专利申请(10)申请公布号CN115761667A(43)申请公布日2023.03.07(21)申请号202211383301.8G06V10/82(2022.01)(22)申请日2022.11.07G06V10/40(2022.01)G06V10/80(2022.01)(71)申请人东南大学G06V10/25(2022.01)地址210096江苏省南京市玄武区四牌楼2G06N3/0464(2023.01)号G06N3/08(2023.01)(72)发明人张涛肖伟民刘晓晨G06N5/04(2023.01)(74)专利代理机构南京众联专利代理有限公司32206专利代理师蒋昱(51)Int.Cl.G06V20/56(2022.01)G06V20/40(2022.01)G06V10/774(2022.01)G06V10/776(2022.01)G06V10/764(2022.01)权利要求书2页说明书6页附图2页(54)发明名称一种基于改进FCOS算法的无人车辆搭载摄像头目标检测方法(57)摘要一种基于改进FCOS算法的无人车辆搭载摄像头目标检测方法，涉及计算机视觉领域。由无人车采集图像，将图像进行预处理后，放入改进的FCOS网络模型中进行训练，训练过程中模型会对图像进行特征提取，预测，损失计算，参数更新，经多多次迭代后，可以得到训练完成的检测模型文件，经过模型转换后，就可以应用部署在无人车等终端设备上。本发明在特征提取的能力上更强，而且构建的两阶段模型在小目标上的检测效果更优，有效地提升了模型的识别准确率，改善了模型的漏检和误检。CN115761667ACN115761667A权利要求书1/2页1.一种基于改进FCOS算法的无人车辆搭载摄像头目标检测方法，具体步骤如下，其特征在于：(1)将摄像头安装在车辆的前端便于摄像头能拍到车辆前侧的位置；在车辆行驶的过程中，摄像头采集车辆行驶过程中的视频；(2)对采集到视频流信息进行关键帧的截取，将截取出来的图像进行预处理，图像的预处理包括对重复图像的筛选，删除无目标的图像，还包括将所有图像进行标注，标注文件中包含图像的类别信息和目标的位置信息；将预处理后的图像划分为用于训练的预训练图像数据集、用于验证的验证图像数据集以及用于测试的测试图像数据集；(3)搭建改进后的FCOS模型，对模型的训练参数进行设定，将步骤(2)中预处理后的图像用于参数设定完整的改进后的FCOS模型，进行模型的训练，在训练过程中，会对训练集中的图像进行特征提取，经多次迭代后，得到训练完成的检测模型；(4)检查模型的效果，对最后保存的模型进行分析，查看模型是否发生过拟合或欠拟合现象，若发生过拟合或欠拟合现象，根据实验结果调整训练次数和超参数，得到合理的检测模型；(5)设置得分阈值和IOU阈值，对模型的输出结果进行解码，根据设置的阈值对解码后的预测框做非极大值抑制处理，删除多余的目标框，最后输出目标检测结果；在后处理阶段，会结合第一阶段候选框的置信度和第二阶段预测的分类置信度作为最后输出的分类置信度。2.根据权利要求1所述的一种基于改进FCOS算法的无人车辆搭载摄像头目标检测方法，其特征在于：步骤(2)所述的进行关键帧截取的具体方式为：将步骤(1)中采集到的视频影像数据进行关键帧抽取，每隔10帧抽取一帧作为数据集中的一张图片。3.根据权利要求1所述的一种基于改进FCOS算法的无人车辆搭载摄像头目标检测方法，其特征在于：步骤(2)所述的图像预处理的操作具体方式是：先将所有抽取出来的图像进行整理，筛选删除重复，无效的，与目标无关的图像；其次，将经过删选操作后剩下的图片进行整理，按照7：2：1的比例分为三份，分别作为用于模型训练的训练集、用于模型验证的验证集、用于测试模型的测试集；最后使用标签处理工具对训练集、验证集进行待检测目标的标签标注和标签处理。4.根据权利要求1所述的一种基于改进FCOS算法的无人车辆搭载摄像头目标检测方法，其特征在于：步骤(3)所述的改进的FCOS网络训练模型在Pytorch环境下搭建，将步骤(2)中所得到训练集、验证集、测试集路径添加至模型配置文件中，并在改进的FCOS网络训练模型中设置相应参数；在不同尺寸的特征图后添加通道空间注意力机制模块，使特征图在通道和空间两个方向加权平均，提升模型的精度；使用VargNet轻量主干网络减小模型的计算量，同时在原模型的基础上提出多分支结构，提升模型的特征表示能力，并采用重参的手段减小模型在推理时的计算量；在特征融合模块中加入BiFPN结构；将原始的FCOS检测模块中的卷积模块替换为深度可分离卷积模块，并在FCOS采样阶段加入提出的基于中心先验的采样方式和新的2CN115761667A权利要求书2/2页Centerness计算方式；在