一种基于深度帧差卷积神经网络的运动目标检测方法.pdf

(19)中华人民共和国国家知识产权局(12)发明专利申请(10)申请公布号CN111626090A(43)申请公布日2020.09.04(21)申请号202010137381.3(22)申请日2020.03.03(71)申请人湖南理工学院地址414000湖南省岳阳市学院路金鄂东路申请人桂林电子科技大学(72)发明人欧先锋晏鹏程徐智张国云涂兵郭龙源王勇(74)专利代理机构东莞卓为知识产权代理事务所(普通合伙)44429代理人汤冠萍(51)Int.Cl.G06K9/00(2006.01)G06K9/62(2006.01)G06N3/04(2006.01)权利要求书3页说明书7页附图4页(54)发明名称一种基于深度帧差卷积神经网络的运动目标检测方法(57)摘要本发明公开了一种基于深度帧差卷积神经网络的运动目标检测方法，属于计算机视觉领域，一种基于深度帧差卷积神经网络的运动目标检测方法，本发明的DifferenceNet具有孪生Encoder-Decoder结构，通过输入两帧图像与对应的监督标签，可以学习两帧图像之间的时序信息与差异特征；AppearanceNet具有Encoder-Decoder结构，通过主干提取t帧图像的表观信息，然后通过时-空信息融合，对t+1帧图像中的运动目标进行预测；AppearanceNet还通过多尺度特征图融合和逐步上采样来保留多尺度空间信息，并且本方法在定性和定量方面均显着优于最新算法，并适用于存在动态背景，光照变化和阴影的复杂场景。CN111626090ACN111626090A权利要求书1/3页1.一种基于深度帧差卷积神经网络的运动目标检测方法，所述深度帧差卷积神经网络包括DifferenceNet和AppearanceNet，其特征在于：所述深度帧差卷积神经网络的运动目标检测方法包括以下步骤：S1、利用DifferenceNet提取帧间差异特征：训练DifferenceNet，并保存下DifferenceNet的预训练模型，然后对DifferenceNet的预训练模型进行正向传播，得到帧差特征图f(t，t+1)；S2、利用AppearanceNet提取表观特征提取，并与帧间差异特征融合：训练AppearanceNet时，并将帧差特征图f(t，t+1)融合到AppearanceNet中进行训练；S3、使用PyTorch深度学习库来训练和测试网络。2.根据权利要求1所述的一种基于深度帧差卷积神经网络的运动目标检测方法，其特征在于：所述DifferenceNet输入为t和t+1帧图像，并使用t、t+1帧对应的Groundtruth作为监督标签，所述AppearanceNet输入为t帧图像，并使用t+1对应的Groundtruth作为监督标签，所述监督标签制作时的计算公式为：Label＝Gt+1-Gt∩(t+1)#(6)。3.根据权利要求2所述的一种基于深度帧差卷积神经网络的运动目标检测方法，其特征在于：所述DifferenceNet采用Encoder-Decoder结构，并采用ResNet作为Backbone提取特征。4.根据权利要求1所述的一种基于深度帧差卷积神经网络的运动目标检测方法，其特征在于：所述Encoder包括两个Backbone，两个Backbone分别为Backbone1和Backbone2，两个所述Backbone结构相同均包括四个Resdual模块，且两个Backbone之间权重和参数共享。5.根据权利要求4所述的一种基于深度帧差卷积神经网络的运动目标检测方法，其特征在于：所述帧差特征图的提取步骤为：将t和t+1帧分别输入到Backbone1和Backbone2中，将得到相应的输出f(t)和f(t+1)，然后通过f(t+1)-f(t)得到的帧差特征图f(t，t+1)。6.根据权利要求5所述的一种基于深度帧差卷积神经网络的运动目标检测方法，其特征在于：所述帧差特征图的具体运算过程为：Backbone通过以下过程提取特征：其中，x和y分别表示输入和输出的特征图，θ表示卷积核的权重，b表示不同通道的偏置，h和w表示输出的坐标索引，m和n代表卷积核的坐标索引，o和i分别代表输出和输入中的不同通道，p是输入的padding，s是卷积操作的stride。在ResNet的Resdual模块中，卷积核大小为3×3，padding为0，stride为2，并且最后一层卷积层的通道数为512，即图7中Diff_conv4层的的通道数为512，则Diff_conv4可以表示为：由于运动目标检测是一个二分类任务，因此对应于图7中的f(t)的通道数应当为2，并2CN111626090A权利要求书2/3页且，的通道可以通过1×1卷积进行降维，对于输入t，则输出f(t)可以示为：同理，由于Backbone1和Bac