基于频域变换的深度伪造图像检测方法和系统.pdf

(19)国家知识产权局(12)发明专利申请(10)申请公布号CN115546598A(43)申请公布日2022.12.30(21)申请号202211275466.3G06N3/04(2006.01)(22)申请日2022.10.18G06N3/08(2006.01)(71)申请人支付宝（杭州）信息技术有限公司地址310023浙江省杭州市西湖区西溪路556号8层B段801-11(72)发明人刘文鑫(74)专利代理机构上海专利商标事务所有限公司31100专利代理师钱孟清(51)Int.Cl.G06V10/80(2022.01)G06V10/44(2022.01)G06V10/52(2022.01)G06V10/82(2022.01)G06V10/764(2022.01)权利要求书1页说明书8页附图6页(54)发明名称基于频域变换的深度伪造图像检测方法和系统(57)摘要本公开提供了一种基于频域变换的深度伪造图像检测方法，包括：接收待检测图片；提取待检测图片的局部空域特征和局部频域特征；采用通道注意力筛选局部频域特征；融合局部空域特征和所筛选出的局部频域特征以获取待检测图片的融合特征；以及基于融合特征判断待检测图片的真伪。CN115546598ACN115546598A权利要求书1/1页1.一种基于频域变换的深度伪造图像检测方法，包括：接收待检测图片；提取所述待检测图片的局部空域特征和局部频域特征；采用通道注意力筛选所述局部频域特征；融合所述局部空域特征和所筛选出的局部频域特征以获取所述待检测图片的融合特征；以及基于所述融合特征判断所述待检测图片的真伪。2.如权利要求1所述的方法，提取所述待检测图片的局部空域特征采用具有少量层卷积的卷积神经网络来进行。3.如权利要求1所述的方法，提取所述待检测图片的局部频域特征包括对所述待检测图片进行频域转换。4.如权利要求1所述的方法，采用通道注意力筛选所述局部频域特征被用于筛选出重要的局部频域特征。5.如权利要求4所述的方法，采用通道注意力筛选所述局部频域特征通过SENet进行。6.如权利要求1所述的方法，所筛选出的局部频域特征在与所述局部空域特征融合之前可进一步细化。7.如权利要求6所述的方法，所筛选出的局部频域特征的进一步细化包括对所筛选出的局部频域特征进行递归地分析，并从所筛选出的局部频域特征中提取更细粒度特征。8.如权利要求1所述的方法，所述方法采用的模型通过焦点损失函数来训练。9.一种基于频域变换的深度伪造图像检测系统，包括：接收模块，接收待检测图片；提取模块，提取所述待检测图片的局部空域特征和局部频域特征；筛选模块，采用通道注意力筛选所述局部频域特征；融合模块，融合所述局部空域特征和筛选出的局部频域特征以获取所述待检测图片的融合特征；以及判断模块，基于所述融合特征判断所述待检测图片的真伪。10.如权利要求9所述的系统，所述提取模块提取所述待检测图片的局部空域特征采用具有少量层卷积的卷积神经网络来进行。11.如权利要求9所述的系统，所述提取模块提取所述待检测图片的局部频域特征包括对所述待检测图片进行频域转换。12.一种存储有指令的计算机可读存储介质，当所述指令被执行时使得机器执行如权利要求1‑8中任一项所述的方法。2CN115546598A说明书1/8页基于频域变换的深度伪造图像检测方法和系统技术领域[0001]本公开主要涉及图像检测，尤其涉及深度伪造图像的检测。背景技术[0002]近年来，图像和视频相关的深度伪造技术迅速兴起，生动诠释了眼见不一定为实，给个人和社会带来了相应的风险和挑战，因此亟需对网络上的多媒体内容进行伪造检测。[0003]深度学习在图像处理领域具有强大的性能，因此可通过模型训练来实现自动化的深度伪造检测，然而仅仅对图像的RGB特征进行检测识别，随着伪造样本变得更加逼真，检测性能会严重降低。[0004]因此，本领域需要高效的深度伪造图像检测方案。发明内容[0005]为解决上述技术问题，本公开提供了一种基于频域转换的深度伪造图像检测方案，其同时纳入对图像的空域特征和频域特征的分析，通过引入通道注意力筛选出重要的频域特征来快速找到有用的局部篡改信息，从而达成高性能、高鲁棒性的深度伪造图像检测。[0006]在本公开一实施例中，提供了一种基于频域变换的深度伪造图像检测方法，包括：接收待检测图片；提取所述待检测图片的局部空域特征和局部频域特征；采用通道注意力筛选所述局部频域特征；融合所述局部空域特征和所筛选出的局部频域特征以获取所述待检测图片的融合特征；以及基于所述融合特征判断所述待检测图片的真伪。[0007]在本公开另一实施例中，提取所述待检测图片的局部空域特征采用具有少量层卷积的卷积神经网络来进行。[0008]在本公开又一实施例中，提取所述待检测图片的局部频域特征包括对所述待