一种基于多域特征融合的图像篡改检测方法.pdf

(19)中华人民共和国国家知识产权局(12)发明专利申请(10)申请公布号CN111311563A(43)申请公布日2020.06.19(21)申请号202010085638.5(22)申请日2020.02.10(71)申请人北京工业大学地址100124北京市朝阳区平乐园100号(72)发明人李帅伯马伟宗秋(74)专利代理机构北京思海天达知识产权代理有限公司11203代理人吴荫芳(51)Int.Cl.G06T7/00(2017.01)G06K9/62(2006.01)G06N3/04(2006.01)G06N3/08(2006.01)G06T5/00(2006.01)权利要求书2页说明书7页附图4页(54)发明名称一种基于多域特征融合的图像篡改检测方法(57)摘要本发明涉及一种基于多域特征融合的数字图像篡改检测方法。本方法使用目标检测流程进行图像篡改检测，首先通过卷积神经网络提取图像空间域和噪声域的篡改遗留特征，将这些特征输入到区域建议网络得到候选检测框。之后，将空间域特征及得到的检测框作为输入信息进行注意力区域识别，识别出图像中具备篡改判别力的篡改可疑区域，在这一过程中，提取图像的重采样特征，引入图像的频域信息。然后将全图空间域特征和可疑区域特征级联，并与噪声域特征通过双线性池化进行融合，应用融合后的特征进行分类和检测框的回归计算，得到篡改类型以及篡改区域的位置。与现有方法相比，本发明能够检测多种类型篡改并准确定位篡改区域，具有更高的检测准确率。CN111311563ACN111311563A权利要求书1/2页1.一种基于多域特征融合的图像篡改检测方法，其特征在于包括以下模块和步骤：模块一：特征提取模块：输入一幅待检测图像，提取其空间域和频域的篡改遗留信息，形成RGB分支和噪声流分支；模块二：注意力模块：针对RGB分支，检测输入图像中具有篡改判别力的区域，本模块将待检测图像的RGB图像学习特征，以及经RPN网络提出的待检测图像的RGB图像学习特征的区域特征进行级联，作为输入图像的表达；模块三：特征融合模块：对来自两个分支的特征进行融合，采取的操作是双线性融合，融合后的特征用于分类；同时使用RGB分支的输出特征进行检测框的回归预测，得到准确的篡改区域的位置并以矩形框表示。2.根据权利要求1所述的一种基于多域特征融合的图像篡改检测方法，其特征在于：特征提取模块分为两部分，第一部分是空间域RGB特征提取模块，是一个ResNet101网络，第二部分是噪声域特征提取模块，该模块是一个深度卷积神经网络，依次由一层自定义的特殊卷积层和两层常规的卷积层组成，其中，特殊卷积层用于检测多种图像篡改痕迹信息；后面两层常规卷积层中，加入了BN层和ReLU激活层以提升网络的稳定性。3.根据权利要求2所述的一种基于多域特征融合的图像篡改检测方法，其特征在于：所述的特殊卷积层定义了特殊的初始化和每次迭代后的更新方式，具体如下：其中，表示特殊卷积层中第k个卷积核，除了卷积核中心权值为-1外，其余权值均为归一化的随机值，且和为1。4.根据权利要求2所述的一种基于多域特征融合的图像篡改检测方法，其特征在于：噪声域特征提取模块第一层常规卷积层的卷积核大小为7×7,步长为2,第二层卷积层的卷积核大小为5×5，步长为1，并且在两层常规卷积层后都设置了最大池化层以减少参数量，提升模型性能。5.根据权利要求1所述的一种基于多域特征融合的图像篡改检测方法，其特征在于：注意力模块分为四部分，即使用重采样特征的LSTM网络，编码网络，解码网络以及后处理模块；将从输入图像中提取的重采样特征作为LSTM网络的输入，用于学习不同图像块之间的相关性；同时将输入图像输入编码网络提取全局空间特征；将LSTM单元输出的特征与由编码网络得到的全局空间特征进行组合，最后将组合后的特征输入到解码网络中，之后使用解码网络上采样得到判别力区域的定位图；最后经过后处理得到该区域的特征，输出该特征与RGB特征进行级联以作为整体图片的特征表示。6.根据权利要求5所述的一种基于多域特征融合的图像篡改检测方法，其特征在于：所述的编码网络使用4个卷积单元，每个单元依次由卷积层、残差单元以及最大池化层构成。7.根据权利要求5所述的一种基于多域特征融合的图像篡改检测方法，其特征在于：所述输入LSTM网络的重采样特征的提取过程为：首先将输入图像分块，从每个图像块中提取重采样特征，对于提取出来的重采样特征，使用Hilbert曲线确定图像块输入LSTM单元的顺序。2CN111311563A权利要求书2/2页8.根据权利要求5所述的一种基于多域特征融合的图像篡改检测方法，其特征在于：解码网络由两个解码单元组成，每个解码单元中都依次包括上采样操作和卷积操作；后处理模块使用的是VGG16网络结构。9.根据权利要求1所述的一种基