一种基于特征增强和IoU感知的目标检测方法.pdf

(19)中华人民共和国国家知识产权局(12)发明专利申请(10)申请公布号CN112949635A(43)申请公布日2021.06.11(21)申请号202110268913.1(22)申请日2021.03.12(71)申请人北京理工大学地址100081北京市海淀区中关村南大街5号(72)发明人马波安骄阳刘龙耀(74)专利代理机构北京正阳理工知识产权代理事务所(普通合伙)11639代理人王民盛(51)Int.Cl.G06K9/32(2006.01)G06K9/34(2006.01)G06N3/04(2006.01)权利要求书3页说明书7页附图2页(54)发明名称一种基于特征增强和IoU感知的目标检测方法(57)摘要本发明涉及一种基于特征增强和IoU感知的目标检测方法，属于计算机视觉目标检测领域。本方法利用RoI分类回归网络中卷积特征图的空间信息提高目标分类和定位的精度，利用注意力机制抑制RoI特征中的背景信息和增强RoI特征中的语义信息，利用IoU重打分策略增加类别得分和边界框置信度之间的相关性，保留高质量的边界框。本方法通过RoI分类回归分支网络，能有效利用特征图中的空间信息，有效提高了目标检测模型的分类和定位能力；通过边界框级别的语义分割分支网络和注意力机制，增强了RoI分类回归分支网络中的特征；通过IoU预测分支网络和使用预测IoU对类别得分进行重打分的策略，提高了目标的类别得分和边界框置信度之间的相关性，有效提高了边界框定位精度。CN112949635ACN112949635A权利要求书1/3页1.一种基于特征增强和IoU感知的目标检测方法，其特征在于，包括以下步骤：步骤1：获取目标检测数据集，并对图像进行预处理操作，构成训练数据集；步骤2：基于两阶段目标检测网络FasterR‑CNN，搭建基于特征增强和IoU感知的目标检测网络；包括以下步骤：步骤2.1：搭建主干特征提取网络，输入为一张预处理后的图像，输出为该图像的特征图；步骤2.2：在步骤2.1所述主干特征提取网络后，搭建RoI池化网络，获得步骤2.1中输出特征图的若干感兴趣区域RoI；步骤2.3：在步骤2.2所述RoI池化网络后，搭建RoI分类回归分支网络，对步骤2.2中获得的若干RoI进行特征提取，并预测每个RoI的分类得分和边界框位置，输出最终的目标检测结果；步骤2.4：在步骤2.1所述RoI池化网络后搭建语义分割分支网络，根据注意力机制搭建特征增强模块，利用提取的语义分割特征图对步骤2.3所述RoI特征进行增强；步骤2.5：在步骤2.1所述RoI池化网络后搭建IoU预测分支网络，其输入为步骤2.4所述语义分割分支网络提取的语义分割特征图，输出为预测的RoI和其匹配的真实目标框之间的IoU；步骤3：构建损失函数，根据训练数据集训练步骤S2所述目标检测网络，获得目标检测模型；步骤4：获取测试图像，对其进行预处理，之后输入步骤3获得的目标检测模型，得到对测试图像的目标分类和定位结果。2.如权利要求1所述的一种基于特征增强和IoU感知的目标检测方法，其特征在于，步骤1中，图像预处理操作包括以下步骤：步骤1.1：将输入图像的短边缩放到600像素；步骤1.2：使用图像随机水平翻转，进行数据增广。3.如权利要求1所述的一种基于特征增强和IoU感知的目标检测方法，其特征在于，步骤2.2中，RoI池化算法使用RoIAlign。4.如权利要求1所述的一种基于特征增强和IoU感知的目标检测方法，其特征在于，对于步骤2.3所述RoI分类回归分支网络，RoIAlign输出的特征图尺寸为7×7。5.如权利要求1所述的一种基于特征增强和IoU感知的目标检测方法，其特征在于，步骤2.3包括以下步骤：步骤2.3.1：所述RoI分类回归分支网络使用两个连续的padding＝0的3×3卷积进行特征提取，输出的特征图记为X，其大小为3×3×512；步骤2.3.2：在特征图X上进行密集预测，依次对每个位置的特征向量进行分类，公式如下：Si＝σ(φθ(Xi))(1)其中，i为特征图中的位置编号，Xi为第i个特征向量；φθ()为特征向量分类函数，使用一个1×1的卷积层实现；σ()为softmax操作，用于输出一个长度为K+1的类别得分向量Si，其中K为训练数据集中的类别个数；2CN112949635A权利要求书2/3页在训练阶段，每个特征向量的类别与其所在的RoI标签相同，分类任务使用交叉熵损失函数进行计算；在测试阶段，首先计算特征图X上每个位置的预测得分，RoI的类别得分为所有位置类别得分的均值S，计算公式如下：步骤2.3.3：在边界框回归时，不同于FasterR‑CNN回归边界框中心点的坐标和边界框宽、高的缩放比例(tx，ty，tw，th)，而是采取独立回归边界框每条边的坐标，边界框坐标参数化过程如