一种基于深度卷积网络的视频显著性检测方法.pdf

(19)中华人民共和国国家知识产权局(12)发明专利申请(10)申请公布号CN110598537A(43)申请公布日2019.12.20(21)申请号201910710059.2(22)申请日2019.08.02(71)申请人杭州电子科技大学地址310018浙江省杭州市下沙高教园区2号大街(72)发明人周晓飞楼杰栋张继勇孙垚棋颜成钢(74)专利代理机构杭州君度专利代理事务所(特殊普通合伙)33240代理人朱月芬(51)Int.Cl.G06K9/00(2006.01)G06K9/62(2006.01)G06N3/04(2006.01)G06N3/08(2006.01)权利要求书2页说明书4页附图3页(54)发明名称一种基于深度卷积网络的视频显著性检测方法(57)摘要本发明公开了一种基于深度卷积网络的视频显著性检测方法。本发明步骤：1：以视频的当前帧及其对应的光流图像作为特征提取网络的输入；2：将当前帧和对应的光流图像串接后得到的张量作为深度卷积网络输入提取特征；3：设计特征集成网络用于融合特征图，并得到对视频显著性检测的粗略估计；同时为了获得蕴含在特征图中卷积信息的补充性信息，特征集成网络引入原始信息，包括当前帧和对应的光流图像；4：模型中引入轮廓提取网络进行空域细化，轮廓提取网络采用线下训练方式，并用于检测物体的边缘轮廓。本发明为特征集成提供了丰富的辅助信息。进一步提升显著性图质量，使生成的显著性图能够以明晰的边界完整地凸显视频序列中的显著性区域。CN110598537ACN110598537A权利要求书1/2页1.一种基于深度卷积网络的视频显著性检测方法，其特征在于使用特征提取网络、特征集成网络、轮廓提取网络三种网络分别对应特征提取、特征融合、空间细化，并最终完成视频显著性检测，具体包括以下步骤：步骤1：以视频的当前帧及其对应的光流图像作为特征提取网络的输入；步骤2：将当前帧Ft和对应的光流图像OPt串接后得到的张量作为深度卷积网络输入提取特征；步骤3：设计一种特征集成网络用于有效的融合特征图，并得到对视频显著性检测的粗略估计SAt；同时为了获得蕴含在特征图中卷积信息的补充性信息，特征集成网络引入原始信息，包括当前帧Ft和对应的光流图像OPt；步骤4：为了进一步提升视频显著性检测的性能，模型中引入轮廓提取网络进行空域细化，轮廓提取网络采用线下训练方式，并用于检测物体的边缘轮廓。2.根据权利要求1所述的一种基于深度卷积网络的视频显著性检测方法，其特征在于步骤1具体实现如下：1-1.输入视频序列，将当前帧记作Ft；1-2.借助光流场估计算法LDOF以及将两通道矩阵转换为三通道彩色图像算法得到光流图像OPt；其中，光流信息是一种很强的先验信息，能够提供视频序列中显著性区域的粗略位置；1-3.将当前帧Ft和对应的光流图像OPt串接后得到h×w×6维的张量,其中h和w分别表示当前帧对应的光流图像的长和宽，且均设置为256；接着，将生成的张量送到特征提取网络作为特征提取网络的输入。3.根据权利要求2所述的一种基于深度卷积网络的视频显著性检测方法，其特征在于步骤2具体实现如下：2-1.将当前帧Ft和对应的光流图像OPt串接后得到的张量输入到深度卷积网络，通过卷积层Conv1-2、Conv2-2、Conv3-3、Conv4-3、Conv5-3得到不同分辨率的特征图{RFCi,i＝1,2,3,4,5}；2-2.将不同分辨率的特征图再通过特征提取网络输出相同尺寸的特征图{SMPi,i＝1,2,3,4,5}；这些特征图尺寸均为256×256×2。4.根据权利要求3所述的一种基于深度卷积网络的视频显著性检测方法，其特征在于步骤3具体实现如下：3-1.将特征图{SMPi,i＝1,2,3,4,5}、当前帧Ft和对应的光流图像OPt按通道方向即Ft、SMP5、SMP4、SMP3、SMP2、SMP1、OPt串接得到张量，由于Ft、OPt为256×256×3张量，特征图{SMPi,i＝1,2,3,4,5}尺寸均为256×256×2，因此最后得到256×256×16张量；3-2.将得到的尺寸大小256×256×16张量送入卷积层{Conv6-1,Conv6-2,Conv6-3}，其中，每一个卷积层均配备3×3卷积核；接着后续是一个卷积核为1×1的卷积层Conv6-4；最后再通过softmax层得到视频显著性检测的粗略估计SAt；另外在Conv6-1层和Conv6-2层，Conv6-2层和Conv6-3层之间均部署BN层和ReLU层。5.根据权利要求3或4所述的一种基于深度卷积网络的视频显著性检测方法，其特征在于步骤4具体实现如下：4-1.采用端对端的方式训练前述网络，前述网络包括特征提取以及特征集成，然后进2CN110598537A权利要求书2/2页入测试阶段