一种基于区分表示深度哈希的跨模态检索模型.pdf

(19)中华人民共和国国家知识产权局(12)发明专利申请(10)申请公布号CN113641790A(43)申请公布日2021.11.12(21)申请号202110922625.3(22)申请日2021.08.12(71)申请人中国石油大学（华东）地址266580山东省青岛市黄岛区长江西路66号(72)发明人段友祥陈宁孙歧峰(51)Int.Cl.G06F16/33(2019.01)G06F16/53(2019.01)G06K9/62(2006.01)G06N3/08(2006.01)权利要求书2页说明书2页附图1页(54)发明名称一种基于区分表示深度哈希的跨模态检索模型(57)摘要本发明提出了一种基于区分表示深度哈希的跨模态检索模型，损失函数监督模型训练过程在保留相似性的同时生成更加具有区分性的表示。其中，成对损失，用于保留原始跨模态数据的语义相似性；量化损失：用于减少量化损失，使得生成的哈希码也可以保留跨模态相似性；三元组监督损失：用于在训练过程中，监督模型保留原模态数据相似性的同时生成更加具有区分性的表示。所提出的损失函数，使得生成的哈希码更加有效以及更加的具有区分性，这进一步提高了跨模态哈希模型的性能，使得检索任务的准确度得到了进一步的提升。CN113641790ACN113641790A权利要求书1/2页1.一种基于区分表示深度哈希的跨模态检索模型，其特征在于，损失函数监督模型训练过程在保留相似性的同时生成更加具有区分性的表示，其中损失函数包括：1)成对损失(pairwiseloss)，用于保留原始跨模态数据的语义相似性；2)量化损失(quantizationloss)：用于减少量化损失，使得生成的哈希码也可以保留跨模态相似性，这与保留相似性的原则是相符的；3)三元组监督损失(triple‑supervisedlosss)：用于在训练过程中，监督模型保留原模态数据相似性的同时生成更加具有区分性的表示。2.如权利要求1所述的一种基于区分表示深度哈希的跨模态检索模型，其特征在于：所提出损失函数可以适用于各种基于深度哈希的跨模态检索模型，监督模型的训练过程中，在保留原始数据语义的相似性同时可以生成更具有区分性的哈希码，这使得模型的性能可以进一步的提高。3.如权利要求1所述的一种基于区分表示深度哈希的跨模态检索模型，其中损失函数的相关符号定义为：以X与Y分别表示图像模态与文本模态，给出跨模态检索的定义。训练数据定义为D＝{X,Y}，其中表示图像模态数据，这里的n表示训练样本实例的数据量，dx表示图像数据的维度，表示来自图像模态的第i个样本实例的特征向量。同样地，定义其中dy表示文本数据的维度，来自文本模态的第j个样本实例的特征向量。L∈{0，1}n×m表示标签矩阵，其由0和1元素组成，0表示该标签不含有，1表示含有该标签，其中m表示标签的类别数。表示跨模态相似矩阵，相应地，如果与共享至少一个标签，则认为它们相似，此时，Sij＝1，否则，Sij＝0。由于不同模态的数据的特征向量与位于不同的特征表示空间，并且通常具有不同的统计属性，因此它们不能直接进行比较。因此跨模态哈希针对每种模态学习一个转换函数：对于X模态，对于Y模态，其中，d为哈希码的程度，γX与γY为两个模态数据的训练的参数。转换函数将来自不同特征空间的数据与映射成为汉明空间中的哈希码B(x)与B(y)。使得来自不同模态的数据可以直接进行比较，并且在汉明空间中，相同类别的样本相似度大于不同类别的样本的相似度。4.如权利要求1所述的一种基于区分表示深度哈希的跨模态检索模型，其中成对损失(pairwiseloss)定义为：其中与分别是图像和文本模型的输出(注意还没有映射为哈希码)，θp为负对数似然函数。优化该项等价于最大化似然函数，其使得当Sij＝1时，与的相似性(内积)最大，Sij＝0时，相似性最小。因此，通过优化成对损失，可以将与的相似性保留在语义矩阵S当中。5.如权利要求1所述的一种基于区分表示深度哈希的跨模态检索模型，其中量化损失(quantizationloss)定义为：2CN113641790A权利要求书2/2页图像模态：其中B(x)＝sign(F)。文本模态：其中B(y)＝sign(G)。我们认为F和G分别是B(x)和B(y)的连续替代，因此由于F和G可以保留跨模态相似性于S中，则B(x)和B(y)同样被期望保留S中的跨模态相似性，这与跨模态哈希方法的保留相似性原则是相符的。需要注意的是，在训练过程中我们设置两个模态训练实例的哈希码是相同，B(x)＝B(y)＝B，但是在训练结束后，针对不同模态的查询实例仍然生成不同的哈希码。6.如权利要求1所述的一种基于区分表示深度哈希的跨模态检索模型，其中三元组监督损失(triple‑supervisedlosss)定义为：图像