基于时域一致性约束的视频风格迁移方法.pdf

(19)中华人民共和国国家知识产权局(12)发明专利申请(10)申请公布号CN110175951A(43)申请公布日2019.08.27(21)申请号201910409352.5(22)申请日2019.05.16(71)申请人西安电子科技大学地址710071陕西省西安市雁塔区太白南路2号(72)发明人董伟生张珍谢雪梅石光明孙璐(74)专利代理机构陕西电子工业专利中心61205代理人王品华(51)Int.Cl.G06T3/00(2006.01)权利要求书3页说明书6页附图2页(54)发明名称基于时域一致性约束的视频风格迁移方法(57)摘要本发明公开了一种基于时域一致性约束的视频风格迁移方法，主要解决现有技术在视频风格迁移中出现的闪烁、前后不连贯的问题。其实现方案为：1)获取视频数据集、风格图像，并离线计算光流信息；2)构建基于时域一致性约束的视频风格转换网络；3)利用视频数据集、风格图像以及光流信息训练风格转换网络模型，更新其各层的权值和偏置；4)将测试视频输入到训练好的风格转换网络模型中，输出结果即为风格化视频。本发明通过训练风格转换网络模型拟合输入视频与风格化视频之间的非线性映射关系，并以这种关系为指导对真实视频进行不同风格的渲染，提高了风格化视频的时域一致性和视觉效果，可用于视频渲染、风格转换的视频处理场景。CN110175951ACN110175951A权利要求书1/3页1.一种基于时域一致性约束的视频风格迁移方法，其特征在于，包括如下步骤：(1)根据视频训练集V和风格图像a，离线计算光流信息：(1a)获取视频训练集V和风格图像a，其中V中包含N组视频序列，每组视频序列Ιn包括四幅图像，分别为一段视频的第1帧I1，第4帧I4，第6帧I6和第7帧I7，其中n＝{1,2,...,N}；(1b)通过变分光流法计算不同帧图像之间的光流信息和光流置信度信息Cn＝{c(1,7),c(4,7),c(6,7)}，其中表示第i帧到第7帧的光流信息，c(i,7)表示第i帧与第7帧之间的光流置信度矩阵，其中，i∈{1,4,6}；(2)构建基于时域一致性约束的视频风格迁移网络：(2a)设计风格转换网络，该网络包括依次连接的三个底层卷积层、五个残差模块、两个反卷积层和一个高层卷积层；将底层第一个卷积层的输出输入到第二个反卷积层中，将底层第二个卷积层的输出输入到第一个反卷积层中，形成两个跳跃连接；(2b)设置训练参数，随机初始化风格转换网络的权值σ0和偏置值β0；(3)训练基于时域一致性约束的视频风格转换网络模型：(3a)每次从视频训练集V中选择一组视频In，以及它对应的光流信息Wn、光流置信度信息Cn，作为训练样本，其中n＝{1,2,...,N}；nn(3b)将训练样本输入到风格转换网络生成风格化结果P，P＝{P1,P4,P6,P7}；(3c)计算风格化结果的总损失值LT：LT＝λsLs+λcLc+λvLv+λtLt，其中，Ls表示风格损失值、Lc表示内容损失值、Lv表示全变分损失值、Lt表示时域损失值，λs表示风格损失权重，λc表示内容损失权重，λv表示全变分损失权重，λt表示时域损失权重；(3d)使用总损失值LT训练风格转换网络模型，更新风格转换网络模型的权值σ和偏置值β；(3e)循环进行(3a)-(3d)对风格转换网络模型进行迭代优化训练，直到取完视频训练集V中所有的视频序列组，得到训练好的风格转换网络模型；(4)利用训练好的视频风格转换模型对测试视频进行风格迁移，即将一段测试视频输入到训练好的风格转换网络模型中，风格转换网络模型的输出即为具有时域一致性的风格化视频。2.根据权利要求1所述的方法，其特征在于，(2a)中的风格转换网络，其结构参数如下：第一底层卷积层的卷积核大小为9×9，卷积核数量为32，步长为1；第二底层卷积层的卷积核大小为3×3，卷积核数量为64，步长为2；第三底层卷积层的卷积核大小为3×3，卷积核数量为128，步长为2；第一残差模块的卷积核大小为3×3，卷积核数量为128，步长为1；第二残差模块的卷积核大小为3×3，卷积核数量为128，步长为1；第三残差模块的卷积核大小为3×3，卷积核数量为128，步长为1；第四残差模块的卷积核大小为3×3，卷积核数量为128，步长为1；第五残差模块的卷积核大小为3×3，卷积核数量为128，步长为1；第一反卷积层的卷积核大小为3×3，卷积核数量为64，步长为0.5；第二反卷积层的卷积核大小为3×3，卷积核数量为32，步长为0.5；2CN110175951A权利要求书2/3页最后一层高层卷积层的卷积核大小为9×9，卷积核数量3，步长为1。3.根据权利要求1所述的方法，其特征在于，(3c)中的风格损失值Ls，通过如下公式计算：其中，C表示风格特征的维度，H表示风格特征的高度，W表示风格特征的