基于连续帧卷积神经网络的行人检测方法研究的中期报告.docx

基于连续帧卷积神经网络的行人检测方法研究的中期报告
一、研究背景
行人检测一直是计算机视觉领域的研究热点之一，其应用范围广泛，如智能监控、自动驾驶、人机交互等。当前，行人检测相关技术主要包括特征提取、目标检测、跟踪等环节，然而传统的行人检测算法面对对于遮挡、姿态变化等因素的影响，仍存在准确率低、鲁棒性差等问题。因此，构建一个准确率、鲁棒性高的行人检测算法，显得非常必要。
在深度学习技术的推动下，许多基于卷积神经网络（CNN）的行人检测方法相继被提出，其中包括RCNN系列（如FastRCNN、FasterR-CNN）、YOLO系列、SSD（SingleShotDetector）等。这些方法的检测精度相对较高，但其缺陷依然是在处理遮挡、姿态变化等方面表现不够优秀。
因此，本研究提出了一种基于连续帧卷积神经网络的行人检测方法，利用连续视频帧的时空信息进行检测，以提高算法的鲁棒性和准确率。
二、研究内容
本研究的主要研究内容是基于深度学习技术设计一种基于连续帧卷积神经网络的行人检测方法，以增强算法的鲁棒性和准确性。
（一）基于连续帧卷积神经网络的行人检测模型
该模型包括两个主要的部分：特征提取和目标检测。
1.特征提取
本研究提出利用一个预训练好的神经网络模型如VGG16或者ResNet来提取连续帧的特征。VGG16和ResNet分别是ImageNet竞赛历届冠军，可以提取出高层次的特征和语义信息。利用这些预先训练好的模型可获得相当高的准确率。我们使用了一个滑动窗口技术来选择该特征层中所有可能的位置并将其下采样到输入图像大小。接着，我们使用一个3D卷积神经网络来处理这些连续帧的特征以提取时序信息，感知全局上下文和空间感知。这个3D卷积神经网络的结构类似于二维卷积神经网络，但是在卷积核的第三个维度，即时间维度，它们包含了更多的信息。这个3D卷积神经网络在每个时间步长都能够共享权重参数，以便在连续帧之间处理数据共用权重，从而保持稳定避免过拟合。
2.目标检测
本研究选择了one-stage方法中的FasterR-CNN作为基础，在该方法的基础上，增加了多个输出层来检测出连续帧中的行人实例。具体地，我们选择了五个输出层，分别用来预测整个图像上的目标，左半边图像的目标，右半边图像的目标，上半边图像的目标和下半边图像的目标。在每个输出层上，都有一个预先定义的AnchorBox，用来对待检测物体的大小和比例进行建模。
（二）实验设计
1.数据集
本研究选择市场上常用的几个行人检测数据集，包括CaltechPedestrians、ETHZPedestrianBenchmark、DaimlerMonoDepth、Citypersons等各类数据集来验证该方法的有效性。
2.实验环境
本研究基于TensorFlow和Keras深度学习框架，在一台NVIDIATeslaV100的显卡下训练和测试本文提出的基于连续帧卷积神经网络的行人检测方法。
（三）实验结果
实验结果表明，采用本文提出的基于连续帧卷积神经网络方法比传统的单张图像目标检测方法，如FasterR-CNN，在检测行人时表现出更优秀的检测准确率和鲁棒性，同时，在减少误检率和漏检率方面的表现也更优化。
三、研究结论
本研究提出了一种基于连续帧卷积神经网络的行人检测方法，利用连续视频帧的时空信息进行检测，具有较高的检测精度和鲁棒性。实验结果表明，该方法能够有效地解决单张图像目标检测方法在处理遮挡、姿态变化等方面存在的缺陷，具有较高的应用价值。