基于关键帧人脸特征的人脸交换篡改视频检测方法、系统及介质.pdf

(19)中华人民共和国国家知识产权局(12)发明专利申请(10)申请公布号CN113469062A(43)申请公布日2021.10.01(21)申请号202110755746.3(22)申请日2021.07.05(71)申请人中山大学地址510275广东省广州市海珠区新港西路135号(72)发明人卢伟祝恺蔓(74)专利代理机构广州市华学知识产权代理有限公司44245代理人李斌(51)Int.Cl.G06K9/00(2006.01)G06K9/32(2006.01)G06K9/62(2006.01)G06N3/04(2006.01)G06N3/08(2006.01)权利要求书3页说明书9页附图4页(54)发明名称基于关键帧人脸特征的人脸交换篡改视频检测方法、系统及介质(57)摘要本发明公开了一种基于关键帧人脸特征的人脸交换篡改视频检测方法、系统及介质，方法包括：将视频数据集划分为训练集和测试集，对每个视频流提取一定的关键帧；对关键帧进行人脸定位，提取保留脸部边缘背景的人脸区域图像；再次检测与定位，获取紧密人脸区域图像；输入到神经网络模型中获取人脸图像的特征表示；使用训练集视频的多个关键帧上的人脸图像特征表示对长短期记忆网络和线性判别器进行训练；将测试集视频的多个关键帧上的人脸图像特征表示作为一组输入，输入到长短期记忆网络中，将最后一个图像对应的输出经过线性判别器，得到检测结果。本发明提供了与设备中现存人脸识别模块接入的可能性，检测用时短，对硬件要求低，可实时高效检测。CN113469062ACN113469062A权利要求书1/3页1.基于关键帧人脸特征的人脸交换篡改视频检测方法，其特征在于，包括下述步骤：将视频数据集划分为训练集和测试集，对每个视频流提取设定数量的关键帧；对提取的关键帧进行人脸定位，提取所有人脸区域图像并保留脸部边缘背景；对保留脸部边缘背景的人脸区域图像再次检测与定位，获取紧密人脸区域图像；将紧密人脸区域图像输入到人脸识别任务中训练好的神经网络中，获取人脸图像特征表示；将训练集视频的多个关键帧上的人脸图像特征表示作为一组输入，对长短期记忆网络和线性判别器进行训练；将测试集视频的多个关键帧上的人脸图像特征表示作为一组输入，输入到长短期记忆网络中，将最后一个图像对应的输出经过线性判别器，得到检测结果并评估检测性能。2.根据权利要求1所述基于关键帧人脸特征的人脸交换篡改视频检测方法，其特征在于，所述对提取的关键帧进行人脸定位，提取所有人脸区域图像并保留脸部边缘背景，具体为：对所述关键帧使用多任务卷积神经网络MTCNN人脸检测器，定位所有的人脸区域图像；对所述人脸区域图像进行裁剪并缩放到240×240的分辨率，并且保留80宽度的脸部边缘背景。3.根据权利要求1所述基于关键帧人脸特征的人脸交换篡改视频检测方法，其特征在于，所述对保留脸部边缘背景的人脸区域图像再次检测与定位，获取紧密人脸区域图像，具体为：使用MTCNN人脸检测器对保留脸部边缘背景的人脸区域图像再次检测，提取紧密的人脸区域，并缩放到160×160的分辨率。4.根据权利要求1所述基于关键帧人脸特征的人脸交换篡改视频检测方法，其特征在于，所述将紧密人脸区域图像输入到人脸识别任务中训练好的神经网络中，获取人脸图像特征表示，具体为：采用Incepion‑ResNet‑V1网络，使用其在大规模人脸识别数据集VGGFace2上经过为人脸识别任务所设计的FaceNet系统所训练好的模型参数进行初始化；将关键帧上提取的紧密人脸图像输入到Inception‑ResNet‑V1网络中，该网络对每个人脸图像生成512维的特征向量；将一个视频的多个关键帧上的得到的特征向量按顺序排列，达到设定长度后停止。5.根据权利要求1所述基于关键帧人脸特征的人脸交换篡改视频检测方法，其特征在于，所述将训练集视频的多个关键帧上的人脸图像特征表示作为一组输入，对长短期记忆网络和线性判别器进行训练，具体为：使用三层叠加的前向长短期记忆网络LSTM对特征进行聚合，其每一层的结构中包括一个输入门it、一个遗忘门ft、一个记忆门gt、一个输出门ot，对输入序列中的每个成员计算隐藏状态ht，记忆单元ct，，计算公式如下：it＝σ(wiixt+bii+whiht‑1+bhi)ft＝σ(wifxt+bif+whfht‑1+bhf)ot＝σ(wioxt+bio+whoht‑1+bho)其中σ表示非线性激活函数sigmoid；xt表示第t帧的人脸特征向量，wii、wif、wio分别表示2CN113469062A权利要求书2/3页输入门、遗忘门、输出门对xt进行线性变换的权重矩阵，bii、bif、bio分别表示三个线性变换的偏置；ht‑1表示第t‑1帧人脸特征向量经过LSTM计算后得到的的隐藏向量，whi、whf、wh