一种面向换脸视频检测的视频运动增强方法.pdf

(19)中华人民共和国国家知识产权局(12)发明专利申请(10)申请公布号CN111476727A(43)申请公布日2020.07.31(21)申请号202010222610.1(22)申请日2020.03.26(71)申请人南京信息工程大学地址210032江苏省南京市江北新区宁六路219号(72)发明人夏志华费建伟顾飞余佩鹏(74)专利代理机构南京经纬专利商标代理有限公司32200代理人罗运红(51)Int.Cl.G06T5/00(2006.01)G06N3/04(2006.01)G06N3/08(2006.01)权利要求书2页说明书7页附图2页(54)发明名称一种面向换脸视频检测的视频运动增强方法(57)摘要本发明公开了一种面向换脸视频检测的视频运动增强方法，构建形态-纹理特征编码模型、形态特征差异增强模型、增强形态特征与纹理特征融合重建模型；编码模型是权值共享的一对卷积神经网络，对视频中的相邻帧进行特征提取并通过双流卷积输出图像的纹理特征以及形态特征；增强模型接收编码模型输出的前后帧的形态特征并作差，利用一个放大因子乘以前后帧形态差异并叠加到前帧的形态特征中；重建模型接收编码模型输出的后帧纹理特征以及增强模型输出的增强形态特征，将两种特征叠加并利用一系列卷积层进行图像重建，得到以放大因子为倍数的运动增强帧。本发明充分挖掘了伪造人脸视频中残留的运动不一致性的瑕疵，能有效提高检测模型的的精度。CN111476727ACN111476727A权利要求书1/2页1.一种面向换脸视频检测的视频运动增强方法，其特征在于：包括如下步骤：(1)构建运动增强模型，包括三个部分的卷积神经网络：编码模型、增强模型和重建模型；构建训练数据以及监督信息并训练模型，得到训练后的运动增强模型；(2)将待运动增强的人脸视频进行逐帧分解，得到一系列帧序列，提取帧序列中的人脸图像并构造帧图像对(fi,fi+1)，fi,fi+1分别为第i,i+1帧人脸图像；(3)将帧图像对(fi,fi+1)输入编码模型，编码模型分别对输入帧对中的帧图像提取特征，输出两帧图像的形态特征与纹理特征；(4)将编码模型输出的两帧形态特征输入增强模型，增强模型对两个形态特征图直接求差，得到前后帧的形态特征差异，该形态差异乘以放大因子后与前一帧的形态特征相加，得到增强后的形态特征；(5)将步骤(3)所得后一帧的纹理特征以及步骤(4)所得的增强形态特征输入重建模型，重建模型将这两种特征融合并重建得到预测的第i+1帧的运动增强帧。2.根据权利要求1所述的一种面向换脸视频检测的视频运动增强方法，其特征在于：所述步骤(1)，构建运动增强模型，包括三个部分的卷积神经网络：编码模型、增强模型和重建模型；具体如下：所述编码模型为权值共享的一对卷积神经网络，前后帧分别作为该对卷积神经网络的输入，分别经过一个7×7、3×3的卷积和三个残差模块后分成两个分支，每个分支都包含一个3×3卷积和两个残差模块，其中一支输出形态特征，另一支输出纹理特征，最终分别输出前后两帧图像的形态特征与纹理特征；所述增强模型接收编码模型输出的两帧形态特征并作差，对形态差异经过一个3×3的卷积后乘以放大倍数，随后再利用一个3×3卷积和残差模块进行处理，将得到的特征与前帧的形态特征叠加得到增强形态特征；所述重建模型接收编码模型输出的后帧的纹理特征并进行上采样，与增强形态特征叠加后经过9个残差模块、2个3×3卷积，通过7×7卷积复原到原始输入图像的尺寸；上述三个模型中的每个卷积后都跟随着一个ReLU激活函数层；在训练运动增强模型时端到端地利用反向传播以及随机梯度下降对网络参数进行更新。3.根据权利要求1所述的一种面向换脸视频检测的视频运动增强方法，其特征在于：所述步骤(1)，构建运动增强模型的训练数据以及监督信息的方法如下：(1.1)从背景图像数据集MS-COCO中随机选择n帧图像作为训练样本的背景图像；从前景物体数据集PASCAL-VOC中随机选取m个物体作为训练样本的前景物体；(1.2)对所选的m个前景物体的尺寸以及角度作随机扰动；(1.3)将一个前景物体随机粘贴在一帧背景图像上作为模型输入的前一帧，对该图像中的前景物体向任意角度进行随机距离的位移，得到的图像作为模型输入的后一帧；(1.4)以与步骤(1.3)同样的角度重复前景物体的位移，但位移距离放大一定倍数，模拟运动增强的实际效果，得到的实际运动增强图像作为模型输出的监督信息；(1.5)保持样本图像的背景不变，重复步骤(1.3)～(1.4)，直至所选的m个前景物体全部处理完成，得到m个训练样本以及监督信息；(1.6)对所选择的n帧背景图像，重复步骤(1.3)～(1.5)，得到运动增强模型的训练数据以及监督信息。2CN111476727A权利要求书2/2页4.根据权利要求3所述的