基于深度学习的无人机视觉目标检测与跟踪.docx

基于深度学习的无人机视觉目标检测与跟踪摘要：随着我国社会经济的迅速发展，科技水平的而不断提高，无人机得到了广泛的应用，本文提出了一种基于深度学习与目标跟踪方法,综合单目视觉和双目立体视觉特点的无人机障碍物实时感知方法。关键词：无人机；视觉；目标检测；跟踪引言随着科学技术的进步，无人机的应用越来越广泛。通过在无人机上搭载高清摄像头，结合飞控系统和相关算法，可实现无人机对拍摄物体的识别检测与跟踪。但传统目标检测算法抽象和表征物体特征的能力不强，因此研究人员借助深度学习、卷积神经网络等技术提取目标特征。1视觉检测和跟踪识别系统近年来，人们针对视觉跟踪问题提出很多算法，但现有的算法在解决无人机协同应用过程中的长时间实时视觉跟踪问题上仍存在不足。早期的基于模板匹配的跟踪是通过非连续地更新模板来描述相似性，从而找到最优的跟踪结果。此类方法虽然对于目标的外观变化时有一定的稳定性，但没有充分利用目标的特征信息，且模板更新存在误差，故无法长时间稳定准确地跟踪目标。无人机检测和跟踪以图像处理链为重点，以目标和周围场景之间的相对运动维度为突破，与导致检测器视觉饱和的照明条件、反射率和同质性等背景特征的动态变化有关。因此，在基于机器视觉的探测和跟踪算法中必须保障对这些问题表现出足够的稳定性，由卡尔曼滤波器实现跟踪功能得以增强，卡尔曼滤波器强制连续检测之间的时间一致性。在无人机特定的协同应用的视觉检测和跟踪识别体系结构中，目标无人机上不需要额外的传感器，并能提供精确的视线跟踪信息。2目标检测相关工作2.1特征提取方法早期的图像特征检测和提取技术主要采用边缘检测、角检测等方法，后来通过区域检测进一步提取出图像的显著特征。早期的图像特征提取一般分为三个步骤：预处理、特征提取、特征处理；然后再利用机器学习等方法对特征进行分类等操作。神经网络中用来提取图像特征最早应用是卷积神经网络，从最开始的LeNet5，到在图像识别任务上取得重大突破的AlexNet，再到更强大的ZFNet、ResNet，Darknet，都充分展示了卷积神经网络在图像领域的地位。深度学习的快速发展和设备能力的改善（如算力、内存容量、能耗、图像传感器分辨率和光学器件）提升了视觉应用的性能和成本效益，并进一步加快了此类应用的扩展。基于深度学习的特征提取方法主要是基于卷积神经网络来自动提取图像的特征。2.2感受野网络随着深度神经网络的发展，目前性能最佳的目标检测模型都依赖于深度的CNN主干网，如ResNet-101和Inception，虽然强大的特征表示有利于性能的提升，但却带来高额的计算成本。相反的，一些轻量级的检测模型可以实时的处理检测问题，但随之带来的是精度的牺牲。文献[13]通过使用人工设计的网络模块（hand-craftedmechanism）强化轻量级特征来构建快速准确的检测模型。受人类视觉系统中感受野（RF）结构的启发，文献提出了一种新颖的RF模块（RFB），它通过模拟RF的大小和偏心率之间的关系增强了特征的可辨性和模型的鲁棒性。RFB是一种多分支的卷积模块，它的内部结构可以分为两个部分：具有不同卷积核的多分支卷积层后接膨胀池化或膨胀卷积。2.3数据集构建数据决定了学习的上限，而神经网络只是逼近这个上限，所以一开始的数据收集工作，起到了关键的作用。其中，数据的采集又是非常困难的，因为针对无人机目标检测问题，并不存在公开的标准训练数据库能够训练神经网络，所以只能按照现有的条件重新采集新的数据。无人机数据集采集主要是通过使用摄像机对6种市面主流的消费级无人机（五种不同大小不同形状的四旋翼无人机和一种直升机）和主要干扰物气球进行拍摄视频，然后对视频进行抽帧，得到无人机图片，之后再对图片进一步筛选标注，就得到了无人机的数据集。3目标跟踪3.1相关工作目标跟踪任务旨在给定目标的初始位置，计算出后续每帧图像中目标的位置信息。国内外的科研工作者对此问题进行了广泛研究。例如，提出了一种单PTZ摄像头下的快速运动物体的实时跟踪方法，该方法引入了卡尔曼滤波算法和感兴趣区域来达到跟踪快速物体的效果。提出了一个基于单PTZ摄像头的视频监控系统，利用背景差分的方法检测出运动目标。然而这些传统的静态摄像头下的目标跟踪，受限于摄像头视角的有限性,难以对感兴趣目标进行大范围和长时间的跟踪。近年来，随着无人机技术的发展，基于无人机进行目标追踪被广泛应用在航拍、电力巡检、物流、军事侦察、目标打击等领域。例如，某人介绍了基于视觉的无人机目标追踪方法，该方法是采用数传将摄像机采集到的图像数据发送到远端进行处理后再发送指令给无人机。介绍了一种基于合作目标的无人机目标跟踪方法，能够实现准确跟踪，此方法主要用在危险物排除。尽管这些方法取得了突破性进展，但它们大多只考虑了改进追踪算法，而没有采用一定的控制策略以控制无人机飞行，使其