基于卷积神经网络修复帧差法获取全景前景目标的方法.pdf

(19)中华人民共和国国家知识产权局(12)发明专利申请(10)申请公布号CN111640071A(43)申请公布日2020.09.08(21)申请号202010368359.XG06K9/46(2006.01)(22)申请日2020.04.30G06N3/04(2006.01)G06N3/08(2006.01)(71)申请人南京理工大学地址210094江苏省南京市玄武区孝陵卫200号(72)发明人崔璇璇张伟斌(74)专利代理机构南京理工大学专利中心32203代理人朱炳斐(51)Int.Cl.G06T5/00(2006.01)G06T7/194(2017.01)G06T3/40(2006.01)G06T7/33(2017.01)G06K9/62(2006.01)权利要求书1页说明书5页附图3页(54)发明名称基于卷积神经网络修复帧差法获取全景前景目标的方法(57)摘要本发明公开了一种基于卷积神经网络修复帧差法获取全景前景目标的方法，该方法包括以下步骤：选定需要进行前景目标修复的路段，获取该路段的多向交通路况视频；针对每个交通路况视频，利用帧差法获取该视频时段的前景目标图；针对每个交通路况视频，对视频帧图像进行归一化处理，并将归一化后的图像划分为训练集和测试集；根据训练集图像和测试集图像，利用卷积神经网络对前景目标图进行修复；基于多向交通路况视频，利用图像拼接算法获取所有前景目标图的全景图。本发明方法不仅可以获取清晰的运动目标前景图，而且通过全景图的获取，解决了在自动驾驶中存在的盲区问题。CN111640071ACN111640071A权利要求书1/1页1.基于卷积神经网络修复帧差法获取全景前景目标的方法，其特征在于，所述方法包括以下步骤：步骤1，选定需要进行前景目标修复的路段，获取该路段的多向交通路况视频；步骤2，针对每个所述交通路况视频，利用帧差法获取该视频时段的前景目标图；步骤3，针对每个所述交通路况视频，对视频帧图像进行归一化处理，并将归一化后的图像划分为训练集和测试集；步骤4，根据所述训练集图像和测试集图像，利用卷积神经网络对所述前景目标图进行修复；步骤5，基于所述多向交通路况视频，利用图像拼接算法获取所有前景目标图的全景图。2.根据权利要求1所述的基于卷积神经网络修复帧差法获取全景前景目标的方法，其特征在于，步骤2中所述利用帧差法获取该视频时段的前景目标图，所用公式为：式中，fk(x,y),fk+1(x,y)分别为第k帧和第k+1帧的帧图像，T为阈值，其值为常数。3.根据权利要求1所述的基于卷积神经网络修复帧差法获取全景前景目标的方法，其特征在于，步骤3中归一化处理公式为：x'＝x/255其中，x为每一帧视频图像像素的大小，x'为归一化后的视频帧图像像素的大小。4.根据权利要求1所述的基于卷积神经网络修复帧差法获取全景前景目标的方法，其特征在于，步骤4中所述卷积神经网络包括三部分：特征提取：利用Batch-Normalization层进行归一化；特征细化：利用1*1的小卷积核对获取到的特征进行降维运算；特征融合：利用concatenate操作对图像特征进行融合，获取多通道图像特征。5.根据权利要求1所述的基于卷积神经网络修复帧差法获取全景前景目标的方法，其特征在于，步骤5所述图像拼接算法具体采用基于SIFT的图像拼接算法。2CN111640071A说明书1/5页基于卷积神经网络修复帧差法获取全景前景目标的方法技术领域[0001]本发明涉及目标检测领域，特别涉及一种基于卷积神经网络修复帧差法获取全景前景目标的方法。背景技术[0002]在当今时代，人工智能已经开始引领各行各业的发展，计算机视觉作为人工智能最直接的应用领域，已成为当前的研究热点。与此同时，卷积神经网络的出现极大地推动了计算机视觉领域的发展。计算机视觉与神经网络相结合，其中最主要，也最热门的落地点便是自动驾驶系统的车外环境感知。车外环境感知包括各类不同的任务，而环境感知的重要环节就是提取视频序列中的前景目标。目前提取目标的方法包括：背景减除法是一种常见的目标检测方法，该方法适合处理静态背景下的图像，而且其准确性好。对于复杂非静态背景建立的高斯混合模型，可以解决部分环境因素产生的问题，但容易在提取前景目标时产生“鬼影”。码本聚类算法(codebook,CB)是一种像素级的非参数化背景建模算法，该算法是采用码本表征像素点的背景模型，其缺点是码本训练时间过长，适应场景变换的动态能力差，此外在背景模型初始中如果包含前景目标信息，则会增加误判的概率。光流法是依据像素点的光流矢量变化形成图像的像素运动场，在整个特征区域出现的连续矢量变化，即表明图像中的物体产生相对运动，光流法可以构建三维图像的结构信息，但是由于算法复杂，导致实时效果差，此外应对光线突变也不能很快的处理前