基于空域和频域双特征的深度伪造视频鉴定方法及系统.pdf

(19)中华人民共和国国家知识产权局(12)发明专利申请(10)申请公布号CN113935365A(43)申请公布日2022.01.14(21)申请号202111137316.1(22)申请日2021.09.27(71)申请人华南农业大学地址510642广东省广州市天河区五山路483号(72)发明人边山李颖王春桃黄远航钟浩胡娟甘雨(74)专利代理机构广州粤高专利商标代理有限公司44102代理人刘俊(51)Int.Cl.G06K9/00(2006.01)G06K9/62(2006.01)G06N3/04(2006.01)G06N3/08(2006.01)权利要求书2页说明书7页附图4页(54)发明名称基于空域和频域双特征的深度伪造视频鉴定方法及系统(57)摘要本发明提出一种基于空域和频域双特征的深度伪造视频鉴定方法及系统，涉及多媒体信息安全的技术领域，首先从待鉴定视频中提取视频帧，从提取到的视频帧中提取人脸区域图像，然后进行频域的图像分割及频率域分支特征提取、空间域分支特征提取，最后频率域分支特征和空间域分支特征合并形成特征向量，用于卷积神经网络分类器的训练和测试，避免当前深度伪造视频鉴定方法对低质量视频检测精度低、跨库检测性能差的问题，综合利用空域和频域特征，能够有效检测由深度伪造技术生成的虚假视频，提高了检测精度。CN113935365ACN113935365A权利要求书1/2页1.一种基于空域和频域双特征的深度伪造视频鉴定方法，其特征在于，所述方法包括：从待鉴定视频中提取视频帧，从提取到的视频帧中提取人脸区域图像；将人脸区域图像从RGB颜色空间域变换到频率域，并进行频率响应分解，得到一系列频率图像分量，基于频率图像分量进行频率域特征提取，得到频率域特征表示F1；对人脸区域图像进行RGB空间域分支的浅层特征提取，基于浅层特征及多重注意力机制，进一步得到全局深层特征表示F2；将频率域特征表示F1和全局深层特征表示F2合并，形成高维特征集合F；选定用于深度伪造视频鉴定的卷积神经网络分类器，将高维特征集合F作为特征向量，对卷积神经网络分类器进行训练和鉴定分类测试。2.根据权利要求1所述的基于空域和频域双特征的深度伪造视频鉴定方法，其特征在于，从待鉴定视频中提取视频帧后，利用BlazeFace人脸检测模型从提取到的视频帧中提取人脸区域图像，提取的人脸区域图像的大小固定。3.根据权利要求2所述的基于空域和频域双特征的深度伪造视频鉴定方法，其特征在于，利用离散余弦变换将人脸区域图像从RGB颜色空间域变换到频率域，所述的频率响应分解基于二进制滤波器和可学习的滤波器组合实现，设人脸区域图像表示为x，bi表示二进制滤波器，li表示可学习的滤波器；利用将可学习的滤波器限制在‑1和+1之间；二进制滤波器和可学习的滤波器组合表示为：Fi＝bi+σ(li)Fi表示组合滤波器，利用组合滤波器进行频率响应分解的表达式为：Yi＝DCT(x)eFi其中，DCT(.)表示离散余弦变换；Yi表示频率响应分解后得到的频率图像分量；将频率响应分解后得到的频率图像分量经过离散余弦变换的逆变换，返回至RGB颜色空间，得到新的RGB表示：‑1Zi＝DCT(Yi)将Zi沿着通道方向进行拼接，最终得到频率域信息图，选定骨干网络为在ImageNet上进行了预训练的XceptionNet，将频率域信息作为频率域分支的输入，送入预先训练的XceptionNet模型中进行频率域特征提取，得到频率域特征表示F1。4.根据权利要求3所述的基于空域和频域双特征的深度伪造视频鉴定方法，其特征在于，二进制滤波器将频率域划分为低、中、高三个频带。5.根据权利要求1所述的基于空域和频域双特征的深度伪造视频鉴定方法，其特征在于，选定预先训练的模型为XceptionNet，将人脸区域图像送入预先训练的模型XceptionNet进行RGB空间域分支的浅层特征提取。6.根据权利要求5所述的基于空域和频域双特征的深度伪造视频鉴定方法，其特征在于，XceptionNet包括依次连接的入口流、中间流及出口流，引入多重注意力模块，人脸区域图像顺序输入至XceptionNet的入口流，通过重复8次的中间流，最后通过出口流，其中浅层特征由入口流提取，XceptionNet的中间流及出口流包括Relu层输出深层特征图；浅层特征送入多重注意力模块，多重注意力模块对浅层特征进行加权，得到多重注意力图，表达式2CN113935365A权利要求书2/2页为：fatt(x)＝ReLU(BN(Conv(ft(x))))其中，ft(x)表示浅层特征；fatt(x)表示多重注意力图；ReLU表示非线性激活操作；BN表示归一化网络层操作；多重注意力图引导中间流及出口流输出的深层特征图进行注意力池化，注意力图与深层特征图通过双线性差值，调