基于频域变换和残差反馈模块的图像拼接篡改检测方法.pdf

(19)中华人民共和国国家知识产权局(12)发明专利申请(10)申请公布号CN112785480A(43)申请公布日2021.05.11(21)申请号202110277084.3G06N3/08(2006.01)(22)申请日2021.03.15(71)申请人河北工业大学地址300130天津市红桥区丁字沽光荣道8号河北工业大学东院330#(72)发明人王浩哲王千龄黄子睿许若冰(74)专利代理机构天津翰林知识产权代理事务所(普通合伙)12210代理人付长杰张国荣(51)Int.Cl.G06T1/00(2006.01)G06T3/40(2006.01)G06T9/00(2006.01)G06K9/46(2006.01)G06N3/04(2006.01)权利要求书2页说明书10页附图3页(54)发明名称基于频域变换和残差反馈模块的图像拼接篡改检测方法(57)摘要本发明为一种基于频域变换和残差反馈模块的图像拼接篡改检测方法，包括：第一步，使用双编码器模块对输入图像进行特征提取，得到特征图F；双编码器模块由频域变换和残差反馈模块两条支路组成；第二步，特性图F经过密集空洞卷积模块和残差多核池化模块处理后，生成特征图E’；第三步，特征图E’经过特征解码器模块，得到定位掩码M；特征解码器模块包括四个残差反馈解码模块。本方法采用双编码器模块来提取特征，经过密集空洞卷积模块和残差多核池化模块来扩展全局视野以捕获更多抽象特征和保留更多空间信息，克服了因丢失上下文空间信息，容易导致错误预测，无法准确检测和定位较小尺寸的拼接篡改区域的缺陷。CN112785480ACN112785480A权利要求书1/2页1.一种基于频域变换和残差反馈模块的图像拼接篡改检测方法，其特征在于，该方法包括以下步骤：第一步，使用双编码器模块对输入图像进行特征提取，得到特征图F；双编码器模块由频域变换和残差反馈模块两条支路组成；频域变换支路包含三个依次连接的频域变换模块，每个频域变换模块即为一次小波变换；残差反馈模块支路共包含五个残差反馈编码模块，每个残差反馈编码模块均包含两个卷积层、Relu函数和池化层；第二残差反馈编码模块的输出与第一频域变换模块的输出进行通道数融合后作为第三残差反馈编码模块的输入，第三残差反馈编码模块的输出与第二频域变换模块的输出进行通道数融合后作为第四残差反馈编码模块的输入，第四残差反馈编码模块的输出与第三频域变换模块的输出进行通道数融合后作为第五残差反馈编码模块的输入；第二步，特性图F经过密集空洞卷积模块和残差多核池化模块处理后，生成特征图E’；密集空洞卷积模块包含四个空洞卷积分支，特征图F经过密集空洞卷积模块的四个空洞卷积分支后得到四种不同尺度的特征图；四种特征图分别进行上采样后再与特征图F进行通道数相加，得到特征图E；残差多核池化模块包括四个池化层，特征图E经过残差多核池化模块的四个池化层后分别进行上采样，然后将上采样后的特征图与特征图E进行通道数融合，得到特征图E’；第三步，特征图E’经过特征解码器模块，得到定位掩码M；特征解码器模块包括四个残差反馈解码模块，每个残差反馈解码模块均包含转置卷积、两个卷积层和Rule函数；特征图E’经过第一残差反馈解码模块的转置卷积后，与第四残差反馈编码模块的输出和第三频域变换模块的输出融合后的特征图再进行通道数融合，然后经过第一残差反馈解码模块，得到第一残差反馈解码模块的输出；将第一残差反馈解码模块的输出经过第二残差反馈解码模块的转置卷积后，与第三残差反馈编码模块的输出和第二频域变换模块的输出融合后的特征图再进行通道数融合，然后经过第二残差反馈解码模块，得到第二残差反馈解码模块的输出；将第二残差反馈解码模块的输出经过第三残差反馈解码模块的转置卷积后，与第二残差反馈编码模块的输出与第一频域变换模块的输出融合后的特征图再进行通道数融合，然后经过第三残差反馈解码模块，得到第三残差反馈解码模块的输出；将第三残差反馈解码模块的输出经过第四残差反馈解码模块的转置卷积后，与第一残差反馈编码模块的输出进行通道数融合，然后经过第四残差反馈解码模块，得到第四残差反馈解码模块的输出，第四残差反馈解码模块的输出再经过卷积，得到定位掩码M；至此完成基于频域变换和残差反馈模块的图像拼接篡改检测。2.根据权利要求1所述的基于频域变换和残差反馈模块的图像拼接篡改检测方法，其特征在于，每个残差反馈编码模块的两个卷积层依次连接，然后经过Relu函数，最后是池化层，池化层的卷积核大小均为2×2；第一残差反馈编码模块的两个卷积层的卷积核大小均为3×3，第一个卷积层的输入维度为3，输出维度为32，第二个卷积层的输入维度为32，输出维度为32；第二残差反馈编码模块的两个卷积层的卷积核大小均为3×3，第一个卷积层的输入维度为32，输出维度为64，第二个卷积层