基于细粒度相似性矩阵的跨模态哈希检索算法.pdf

(19)中华人民共和国国家知识产权局(12)发明专利申请(10)申请公布号CN112199520A(43)申请公布日2021.01.08(21)申请号202010990707.7(22)申请日2020.09.19(71)申请人复旦大学地址200433上海市杨浦区邯郸路220号(72)发明人张玥杰全家琦(74)专利代理机构上海正旦专利代理有限公司31200代理人陆飞陆尤(51)Int.Cl.G06F16/41(2019.01)G06F16/45(2019.01)G06F16/483(2019.01)G06F16/901(2019.01)权利要求书4页说明书8页附图1页(54)发明名称基于细粒度相似性矩阵的跨模态哈希检索算法(57)摘要本发明属于跨模态数据检索技术领域，具体为一种基于细粒度相似性矩阵的跨模态哈希检索算法。本发明算法主要针对图像检索文本与文本检索图像两个任务，包括：哈希码推理：利用图像‑文本对的标签信息构筑细粒度相似性矩阵，使哈希码保留图像‑文本数据项之间的细粒度相似性信息；构造一个自编码器，使哈希码尽可能保留标签中的语义信息；哈希函数学习：训练两个哈希函数，分别将图像和文本映射至哈希码，哈希码学习所用到的目标函数包含哈希码映射损失、带权重的相似性保留损失、及分类损失。本发明在图像搜索文本和文本搜索图像两个任务中都具有比较高的检索精度。CN112199520ACN112199520A权利要求书1/4页1.一种基于细粒度相似性矩阵的面向跨模态检索的哈希算法，其特征在于，具体步骤为：步骤1、图像-文本对的哈希码推理：一方面利用图像-文本对的标签信息构筑细粒度相似性矩阵S，用来使得推理出来的哈希码保留图像和文本数据项之间的细粒度相似性信息；另一方面利用自编码器使得哈希码尽可能保留标签中的语义信息；结合这两个目标设计损失函数，并利用交替方向乘子法优化损失函数，求解适合这些图像-文本数据项的哈希码；步骤2、图像和文本的哈希函数学习：这一阶段训练两个哈希函数，分别将图像和文本映射至合适的哈希码上，利用第一个阶段推理得到的图像-文本对的最优哈希码设计损失函数，目标是使得图像和文本经过哈希函数映射至海明空间后能够保持其在原始空间的相似性。2.根据权利要求1所述的哈希算法，其特征在于，步骤1中所述哈希码推理的具体流程为：直接利用图像的标签信息构建数据项之间的细粒度相似性性Sij，其表达式为：其中，li＝[li1,…,lic]是每一个图像-文本对数据项的标签，每个标签包含c个语义类别，Sij>0表示第i个数据项与第j个数据项具有相似性，即它们的标签至少共享一个类别，而共享的类别越多，Sij的值也越接近1，Sij＝-1表示第i幅图像与第j幅图像不相似，即它们的标签不共享任何一个类别；利用哈希码的点积来重建数据项之间的相似性，把之前定义的相似性转换到合适的范围，即-1到1：之后，为使哈希码能够保留标签的语义信息，定义一个自编码器，其中编码器把标签映射为哈希码，解码器把哈希码映射回标签：其中，为所有数据项的哈希码堆叠而成的矩阵，k为哈希码的长度，是图像-文本对数据项的标签矩阵；是自编码器的权值参数矩阵；结合相似性矩阵和自编码器的重建损失，第一阶段总体的目标函数定义如下：s.t.B∈{-1，1}n×k,LW＝B(3)其中，S为细粒度相似性矩阵，‖·‖F表示矩阵的Frobenius范数，α为控制自编码器损失的权重参数；这里，将自编码的损失拆分成两个部分，则第一个阶段整体的目标函数定义如下：2CN112199520A权利要求书2/4页s.t.B∈{-1，1}n×k(4)其中，α和λ为控制自编码器损失的权重参数；由于哈希码的离散约束，上式本质上是一个混合整数规划问题。3.根据权利要求2所述的哈希算法，其特征在于，对于所述混合整数规划问题，为避免松弛带来的量化误差，直接对目标函数进行优化，具体为：n×k首先，把B的约束条件拆成两个部分B∈Sb和B∈Sp,其中Sb和Sp分别表示[-1，1]和然后，引入两个变量Z1和Z2，分别吸收这两个新的约束条件，即B＝Z1,Z1∈Sb以及B＝Z2,Z2∈Sp；之后，利用交替方向乘子法的优化算法构造如下增广拉格朗日函数，并利用迭代的方式求解：其中，Tr(·)表示求矩阵的迹，δS(Z)(δSb(Z)、δSp(Z))是指示函数，若Z∈S，则其值为0，否则为+∞；Y1和Y2是两个对偶变量；ρ1和ρ2是两个惩罚系数；然后，利用交替优化的方式更新这些需要求解的变量：(1)更新B:固定除B之外的所有变量，得到如下目标函数：该子问题通过LBFGS-B算法求解，其中梯度定义如下：(2)更新Z:固定除Z之外的所有变量，通过近端最小化算法更新Z1和Z2：其中，和是两个投影函数，把大于1和小于-1的数投影到1和-1上，而对Z2正则化以使其满足