视频连续帧之间的光流预测方法.pdf

(19)中华人民共和国国家知识产权局(12)发明专利申请(10)申请公布号CN110363794A(43)申请公布日2019.10.22(21)申请号201910645583.6(22)申请日2019.07.17(71)申请人青岛科技大学地址266000山东省青岛市崂山区松岭路99号(72)发明人王传旭刘帅丰艳闫春娟(74)专利代理机构青岛中天汇智知识产权代理有限公司37241代理人王丹丹(51)Int.Cl.G06T7/269(2017.01)权利要求书1页说明书5页附图4页(54)发明名称视频连续帧之间的光流预测方法(57)摘要本发明公开了一种视频连续帧之间的光流预测方法，涉及计算机机器视觉技术领域，包括以下步骤：步骤a：通过可形变卷积单元提取相邻帧空间特征；步骤b：对相邻帧空间特征进行融合重构；步骤c：对融合重构的特征进行反卷积操作，构建网络堆栈；步骤d：利用损失函数训练网络堆栈；步骤e：输出结果。本发明的有益效果是：将卷积核从根本结构形式上进行优化，将固定的方形卷积改为可形变卷积，提升了预测精度并节约了运算资源；通过训练将融合的特征重构并重新分配参数及通道权重，从而在少量增加计算成本的情况下最大限度保留相邻帧的特征相关性。CN110363794ACN110363794A权利要求书1/1页1.一种视频连续帧之间的光流预测方法，其特征在于，包括以下步骤：步骤a：通过可形变卷积单元提取相邻帧空间特征；步骤b：对相邻帧空间特征进行融合重构；步骤c：对融合重构的特征进行反卷积操作，构建网络堆栈；步骤d：利用损失函数训练网络堆栈；步骤e：输出。2.根据权利要求1所述的视频连续帧之间的光流预测方法，其特征在于，在所述步骤a中，所述可形变卷积单元的第一层为7*7的可形变卷积层，第二层为5*5的传统卷积层，第三层和第四层为3*3的传统卷积层，每个卷积层的步长为2；所述可形变卷积层所用卷积操作为：式中，P0为可形变卷积层所输出特征映射u的一点，其中x代表该层的输入特征映射或者原始图像，R为卷积核所覆盖在u的区域，w为权重值，Pn是R在x所覆盖区域中的枚举。3.根据权利要求1所述的视频连续帧之间的光流预测方法，其特征在于，在所述步骤b中，所述相邻帧空间特征通过逐通道的全局平均池化转化为一个长度为特征通道数的标量；将所述标量送入一个包括全连接、ReLU激活函数、全连接和Sigmoid激活函数的全连接层，通过后续训练操作得到一个作为融合特征的权重向量；将所述权重向量作为特征通道的选择参量，然后通过乘法逐通道加权到相邻帧空间特征上，完成在通道维度上的对原始特征的重标定。4.根据权利要求1所述的视频连续帧之间的光流预测方法，其特征在于，在所述步骤c中，通过反卷积操作将所述融合重构的特征放大并贴近光流，然后通过上采样将分辨率恢复到原始大小。5.根据权利要求1所述的视频连续帧之间的光流预测方法，其特征在于，在所述步骤c中，所述构建网络堆栈包括网络一，网络二和网络三，所述网络一采用可形变卷积和SE-net，网络二采用传统卷积核并去除SE-net，所述网络三采用传统卷积核加SE-net，所述网络一与网络二和网络三的串联通过并联连接。6.根据权利要求5所述的视频连续帧之间的光流预测方法，其特征在于，所述网络二向网络三传递预测光流及损失量。7.根据权利要求1所述的视频连续帧之间的光流预测方法，其特征在于，在所述步骤d中，使用数据集中的groundtruch与输出光流平均终点误差作为损失函数，将输出光流进行一次插值后计算损失。8.根据权利要求1所述的视频连续帧之间的光流预测方法，其特征在于，所述训练网络的策略是先独立训练第一层级网络，然后再将所述引导网络内部参数权重固定训练下级网络，直到所有子网络训练完成，在最后一层加入合成模块，在固定上层网络内部参数下微调合成模块。9.根据权利要求1所述的一种视频连续帧之间的光流预测方法，所述步骤e包括输出结果和输出视频相邻帧对应的光流图像。2CN110363794A说明书1/5页视频连续帧之间的光流预测方法技术领域[0001]本发明涉及计算机机器视觉技术领域，特别是一种视频连续帧之间的光流预测方法。背景技术[0002]光流预测可以应用到轨迹追踪，前背景分割及人类行为识别等领域，是计算机视觉研究中的常用方法和重要问题。光流包含着空间运动物体在观察成像平面上像素运动的瞬时速度和位移矢量等信息，光流图像通过颜色域和空间域结合的形式表示图像物体运动状态。相对于其他图像研究方法，光流的重点主要在于“运动”，光流不仅包含被观察物体的运动信息，还包含有关景物三维结构的丰富信息。光流预测指利用图像序列中像素在时间域上的变化以及相邻帧之间的相关性来找到上一帧跟当前帧之间存在的对应关系，从而计算出相邻帧之间物体的运动信息(光流图)的方法。[00