一种基于时空卷积神经网络的视频目标分割方法.pdf

(19)中华人民共和国国家知识产权局(12)发明专利申请(10)申请公布号CN110222595A(43)申请公布日2019.09.10(21)申请号201910421126.9(22)申请日2019.05.20(71)申请人中国科学院大学地址100049北京市石景山区玉泉路（甲）19号(72)发明人李国荣徐凯黄庆明(51)Int.Cl.G06K9/00(2006.01)G06K9/62(2006.01)G06N3/04(2006.01)权利要求书1页说明书3页附图1页(54)发明名称一种基于时空卷积神经网络的视频目标分割方法(57)摘要本发明涉及计算机视觉的技术领域，特别是涉及一种基于时空卷积神经网络的视频目标分割方法，其不需要依赖光流标注信息来训练光流模型，节省人力资源，提高视频分割准确度；包括：使用ResNet-101网络，前部均为卷积层，并且最后三个为反卷积层；使用三个跳过连接来连接低位图层功能以保留每个决议中的时空信息；输入为N幅连续的帧(It-N，It-(N-1)，……，It-1)，输出为预测的当前帧的图像I；并将此步骤设置为时间一致性分支；使用ResNet-101网络，其中均为卷积层；并且使用步长为1的空洞卷积替换卷积最后两个残余块中的层；使用金字塔池化模型来利用全局不同区域上下文信息；并将此步骤设置为空间分割分支。CN110222595ACN110222595A权利要求书1/1页1.一种基于时空卷积神经网络的视频目标分割方法，其特征在于，包括：使用ResNet-101网络，前部均为卷积层，并且最后三个为反卷积层；使用三个跳过连接来连接低位图层功能以保留每个决议中的时空信息；输入为N幅连续的帧(It-N，It-(N-1)，……，It-1)，输出为预测的当前帧的图像I；并将此步骤设置为时间一致性分支；使用ResNet-101网络，其中均为卷积层；并且使用步长为1的空洞卷积替换卷积最后两个残余块中的层；使用金字塔池化模型来利用全局不同区域上下文信息；并将此步骤设置为空间分割分支；使用元素添加来利用高级上下文，并连接时间相干特征以集成时间约束；使用来自先前粗尺度特征图的预测掩模来指导网络的集中，即使用逐元素乘法来掩盖中的特征映射；增强对象区域周围的特征，使网络逐渐集中在对象区域以获得准确的结果；并将此步骤设置为特征融合。2.如权利要求1所述的一种基于时空卷积神经网络的视频目标分割方法，其特征在于，还包括：预训练时间一致性分支，使用对抗性方式通过预测未来帧来训练时间一致性分支，具体包括：将时间相干分支设置为生成器G，并构造鉴别器D以从G和真实视频帧中识别所生成的视频帧；并且使用预训练的Inception-v3网络，最后一个完全连接(FC)层被随机初始化的2级FC层替换为鉴别器D；并且利用对抗性损失函数及视频帧预测损失函数和已有视频数据集训练该网络。3.如权利要求2所述的一种基于时空卷积神经网络的视频目标分割方法，其特征在于，还包括：预训练空间分割分支，使用现有的图像分割数据集或显著性物体数据集来预训练空间分割分支。4.如权利要求3所述的一种基于时空卷积神经网络的视频目标分割方法，其特征在于，还包括：线下迭代训练整个时空卷积网络，并利用DAVIS2016训练数据集来微调整体的参数，并且迭代训练时间一致性分支和空间分割分支：保持空间分割分支的参数固定不变，优化时间一致性分支的参数；之后保持时间一致网络的参数不变，优化空间分割分支。2CN110222595A说明书1/3页一种基于时空卷积神经网络的视频目标分割方法技术领域[0001]本发明涉及计算机视觉的技术领域，特别是涉及一种基于时空卷积神经网络的视频目标分割方法。背景技术[0002]视频对象分割(VOS)是许多视频分析任务的关键步骤，如视频摘要，视频编辑和场景理解。VOS旨在从视频剪辑中提取前景对象。现有的VOS方法可以根据人类参与的程度分为两种设置，即无监督和半监督。无监督的VOS方法不需要任何手动注释，而半监督方法依赖于第一帧中对象的带注释的掩码以保持对象分割结果的时间关联。[0003]现有的方法通常使用光流来模拟整个时间内的像素一致性以获得平滑度。然而，光流标注是一项艰巨的任务，需要大量人力，此外光流估计非常难，因此光流估计的结果往往准确较差。发明内容[0004]为解决上述技术问题，本发明提供一种不需要依赖光流标注信息来训练光流模型，节省人力资源，提高视频分割准确度的基于时空卷积神经网络的视频目标分割方法。[0005]本发明的一种基于时空卷积神经网络的视频目标分割方法，包括：[0006]使用ResNet-101网络，前部均为卷积层，并且最后三个为反卷积层；使用三个跳过连接来连接低位图层功能以保留每个决议中的时空信息；输入为N幅连续的帧(It-N，It-(N-1)，……