一种基于层次化特征互补的图像哈希检索方法.pdf

(19)中华人民共和国国家知识产权局(12)发明专利申请(10)申请公布号CN112084362A(43)申请公布日2020.12.15(21)申请号202010789986.0(22)申请日2020.08.07(71)申请人北京航空航天大学地址100191北京市海淀区学院路37号(72)发明人刘庆杰马田瑶许杰浩王蕴红(74)专利代理机构北京航智知识产权代理事务所(普通合伙)11668代理人黄川史继颖(51)Int.Cl.G06F16/583(2019.01)G06K9/62(2006.01)G06N3/04(2006.01)权利要求书2页说明书8页附图3页(54)发明名称一种基于层次化特征互补的图像哈希检索方法(57)摘要本发明公开了一种基于层次化特征互补的图像哈希检索方法，可应用于大规模的基于内容的图像检索，是一种能同时有效地提取图像的低层细节信息和高层语义信息且充分利用图像的全局特征和局部特征的算法。本发明同时提取出卷积神经网络中的低层特征图和高层特征图，可以获取图像的低层信息和高层信息，引入注意力模块，可以减少低层特征图中噪声的干扰，确保低层特征图的有效性，在卷积神经网络的高层特征图中添加多尺度特征融合，聚合不同区域的上下文信息，可以提高卷积神经网络获取局部细节信息的能力，通过对不同层次的信息进行增强后融合，可以保证模型能够充分地提取到图像丰富而复杂的内容，让哈希码能够更好地保留图像之间的相似性。CN112084362ACN112084362A权利要求书1/2页1.一种基于层次化特征互补的图像哈希检索方法，其特征在于，包括如下步骤：S1：将待检索图像输入到用于提取特征的卷积神经网络中；S2：截取所述卷积神经网络的中间层生成的特征图作为低层特征图L，将所述低层特征图L输入空间注意力模块中，所述空间注意力模块将上下文信息聚合到低层特征图L中，得到特征图L1；S3：将所述低层特征图L输入通道注意力模块中，所述通道注意力模块对所述低层特征图L各个通道之间的语义依赖进行建模，得到特征图L2；S4：将得到的特征图L1和特征图L2相加得到特征图L3，全连接哈希层对特征图L3进行编码，生成长度为l1的低层哈希码；S5：将所述卷积神经网络的最后一层生成的特征图作为高层特征图K，分别使用多个不同大小的卷积核对高层特征图K进行卷积操作，生成多个不同尺度的特征图；S6：利用多尺度特征融合模块对生成的多个不同尺度的特征图分别进行逐点卷积，将每一个特征图的通道数降为高层特征图K通道数的1/4；S7：使用双线性插值方式对经过逐点卷积后的各个特征图进行上采样，将每一个特征图还原为与高层特征图K相同的尺度，将各个还原后的特征图以及高层特征图K进行通道方向的拼接融合，融合后的特征图包含不同子区域之间不同尺度的信息，实现局部信息和全局信息的融合；S8：对融合后的特征图使用全连接哈希层编码，生成长度为l2的高层哈希码；S9：将所述低层哈希码和所述高层哈希码进行拼接，得到长度为l1+l2的哈希码用于图像检索。2.如权利要求1所述的基于层次化特征互补的图像哈希检索方法，其特征在于，步骤S2，截取所述卷积神经网络的中间层生成的特征图作为低层特征图L，将所述低层特征图L输入空间注意力模块中，所述空间注意力模块将上下文信息聚合到低层特征图L中，得到特征图L1，具体包括：给定一个低层特征图L∈RC×H×W，使用两个不同的卷积层对低层特征图L进行卷积操作，生成特征图Y和特征图Z，其中，{Y，Z}∈RC×H×W，其中，C表示特征图的通道数，H表示特征图的高，W表示特征图的宽；把特征图Y和特征图Z的维度调整为C×N，调整后得到{Y′，Z′}∈RC×N，其中，N＝H×W，表示特征图中一个通道上像素的总量；将特征图Z′的转置与Y′相乘，使用softmax函数作为激活函数，得到空间特征关系图S∈RN×N：其中，Sij表示空间特征关系图S在第i行、第j列的值，代表在特征图Y和特征图Z中对应局部特征之间的关系，Sij越大，代表两个局部特征的相似性和相关性越大，i＝1，2，...，N，j＝1，2，...，N；表示特征图Z′的转置中的第i行元素，Yj′表示特征图Y′中的第j列元素；获得空间特征关系图S后，使用均值池化层和卷积层挖掘低层特征图L在每一个空间位置上的相对权重；获得相对权重后，对低层特征图L重新赋予权重，完成空间维度上的重标定，加权公式如下：2CN112084362A权利要求书2/2页L1＝conv(avg(S))·L(2)其中，avg表示均值池化层，conv表示以sigmoid为激活函数的卷积层；式(2)对低层特征图L的空间位置进行加权，在空间维度上对低层特征图L的关键信息进行增强，得到特征图L1。3.如权利要求2所述的基于层次化特征互补的图像哈希检索方法，其特征在于，步骤S3