基于改进的Faster RCNN的行人检测方法.pdf

(19)中华人民共和国国家知识产权局(12)发明专利申请(10)申请公布号CN114170627A(43)申请公布日2022.03.11(21)申请号202111402477.9G06K9/62(2022.01)(22)申请日2021.11.23G06N3/04(2006.01)G06N3/08(2006.01)(71)申请人西安理工大学地址710048陕西省西安市碑林区金花南路5号(72)发明人赵志强马培红黑新宏赵钦何文娟马召熙(74)专利代理机构西安弘理专利事务所61214代理人王丹(51)Int.Cl.G06V40/10(2022.01)G06V10/40(2022.01)G06V10/25(2022.01)G06V10/764(2022.01)G06V10/82(2022.01)权利要求书2页说明书9页附图1页(54)发明名称基于改进的FasterRCNN的行人检测方法(57)摘要本发明公开了基于改进的FasterRCNN的行人检测方法，首先通过ResNet‑50神经网络提取样本图像的特征图，然后将所得特征图输入RPN模型，并修改了RPN模型的边框回归损失函数，生成候选框；最后将特征图和候选框发送到ROIHead模型，得到目标的类别和定位。本发明基于CNN特征，不仅可以处理任意尺度的图像，而且检测精度较高。相比已公开发明专利，本发明所公开的方法并不需要对网络进行特殊的设计，只需修改RPN模型的边框回归损失函数，充分利用了已有的可用数据，采用通用的网络结构仍旧可以达到不错的实验效果，充分发挥了深度卷积网络的优势，具有设计简单，鲁棒性较佳，检测准确率高，漏检率低的优点。CN114170627ACN114170627A权利要求书1/2页1.基于改进的FasterRCNN的行人检测方法，其特征在于，首先通过ResNet‑50神经网络提取样本图像的特征图，然后将所得特征图输入RPN模型，并修改了RPN模型的边框回归损失函数，生成候选框；最后将特征图和候选框发送到ROIHead模型，得到目标的类别和定位；具体操作步骤如下：步骤1：对ResNet‑50网络进行预训练，提取行人图像的特征图；步骤2：利用RPN模型在图像的特征图上生成候选框，得到1：1比例的正负样本；将所述正负样本作为标签去训练RPN模型，得到候选框中目标的类别和初步定位信息，所述类别包括前景和背景；对步骤3：利用RPN模型得到候选框中的目标的类别、初步定位信息和ResNet‑50网络得到的特征图，对随机初始化参数得到的ROIHead模型进行训练，得到目标的类别和定位。2.根据权利要求1所述的基于改进的FasterRCNN的行人检测方法，其特征在于，步骤1具体如下：采用VOC2007数据集对ResNet‑50神经网络进行预训练，得到网络权重，将预训练好的权重加载到FasterRCNN的ResNet‑50网络，得到预训练后的ResNet‑50网络；之后的训练过程冻结ResNet‑50网络部分，即ResNet‑50网络的参数不进行反向传播，不进行梯度更新；将图像输入预训练好的ResNet‑50网络，得到行人图像的特征图。3.根据权利要求1所述的基于改进的FasterRCNN的行人检测方法，其特征在于，步骤2生成候选框的方法具体如下：设定RPN模型初始化信息，所述初始化信息包括锚盒的尺寸、比例；RPN模型的锚盒尺寸为：8×8、16×16、32×32，其中8×8、16×16适用于小的行人检测，32×32适用于大的行人检测；这三种尺寸每种尺寸按1:1，1:2，2:1的长宽比例缩放，共9种尺寸作为RPN模型需要评估的候选框；训练RPN模型的目标就是对特征图中的每个锚点对应的9个锚盒，预测其是否是一个存在目标的框；框与真值框的交并比IoU>0.7就认为这个框是一个候选框，反之，则不是；将步骤1中得到的特征图输入RPN模型，改善RPN模型的边框回归损失，以提高检测识别精度，最后生成候选框。4.根据权利要求3所述的基于改进的FasterRCNN的行人检测方法，其特征在于，训练RPN模型的具体方法如下：将一个二进制分类标签分配给每个锚盒，其中0表示负样本，1表示正样本；如果一个锚盒跟所有真值框之一的交并比IoU大于0.7，则称之为正样本；如果一个锚盒跟所有真值框的交并比IoU小于0.3，则称之为负样本；剩下的框既不是正样本也不是负样本，不用于最终的训练；将真值框与回归输出的候选框的定位做比较，用梯度下降法来训练RPN模型；训练RPN模型的损失函数定义如下：其中，一个训练批次mini‑batch是由一幅图像中最终选取的所有正负样本组成，其中正负样本的比例为1:1；i表示一个mini‑batch中第i个锚点，pi表示第i个锚点对应的锚盒是目标的概率，值在[0,1]之间；正样本的为1，负样本的为