一种深度无监督跨模态哈希检索方法.pdf

(19)国家知识产权局(12)发明专利申请(10)申请公布号CN115840827A(43)申请公布日2023.03.24(21)申请号202211382234.8G06N3/088(2023.01)(22)申请日2022.11.07(71)申请人重庆师范大学地址401331重庆市沙坪坝区大学城中路37号(72)发明人李明勇马龙飞(74)专利代理机构合肥数字代码知识产权代理有限公司34253专利代理师王卫(51)Int.Cl.G06F16/38(2019.01)G06F16/36(2019.01)G06F16/31(2019.01)G06F18/25(2023.01)G06F18/214(2023.01)权利要求书1页说明书7页附图1页(54)发明名称一种深度无监督跨模态哈希检索方法(57)摘要本发明公开了一种深度无监督跨模态哈希检索方法，涉及跨模态哈希检索技术领域，本发明中，将文本当作图结构的数据来考虑，将文本特征转化为图中的节点信息，通过使用GAT网络，将稀疏的文本特征进一步融合，通过注意力机制，将相关邻居节点信息以一种注意力打分机制与原始节点融合起来，同时注意力分数也表示出特征词之间联系的紧密程度，分数越高关系越紧密，并且采用自编码器将提取后的模态特征进行特征编码和特征解码，同时将图注意力网络引入跨模态哈希检索领域中，能够对语义信息不丰富的文本模态进行深度提取，丰富其高层特征信息表示，同时采用CLIP作为图像模态的视觉编码器，提取更细粒度的语义特征。CN115840827ACN115840827A权利要求书1/1页1.一种深度无监督跨模态哈希检索方法，其特征在于，包括以下步骤：S1、设计一个模态循环交互方法，将模态内部一个模态特征重构另一个模态特征进行语义对齐，从而全面兼顾模态内和模态间的语义相似关系；S2、将图注意力网络引入跨模态检索中，考虑文本邻居节点信息的影响；S3、引入注意力机制，从而捕获文本模态的全局特征；S4、使用CLIP视觉编码器对图像特征进行细粒度提取；S5、通过哈希函数来学习哈希编码，将查询点转换为哈希编码更快检测出对应的横态信息。2.根据权利要求1所述的一种深度无监督跨模态哈希检索方法，其特征在于：所述S2具体为：S2.1、将节点信息通过图的方式表现出来，通过聚合节点与节点之间的关联，将图拓扑结构转化为构造邻接矩阵，将每个节点与其邻居节点的信息都融合到一个新的节点中；S2.2、随着注意力在NLP和CV领域展现出先进的执行效果，将注意力机制引入到图网络中，在图神经网络中引入注意力机制，通过注意力算法给每个节点一个注意力分数，再将不同的节点进行信息融合，相关性不高的特征词的分数较低，与其相关性较强的特征词能够得到一个高的注意力分数；S2.3、最后将这些信息融合，强化不同特征词对节点的影响。3.根据权利要求1所述的一种深度无监督跨模态哈希检索方法，其特征在于：所述S1中采取双流模型来对不同的模态数据信息进行语义特征提取。4.根据权利要求1所述的一种深度无监督跨模态哈希检索方法，其特征在于，所述S1具体为：S1.1使用Auto‑Encoder去将高层次的语义特征压缩为低层次的语义表征，并且对这个底层语义特征重构回异质数据的特征；S1.2、将图像的特征输入到解码器中，得到的语义信息再通过解码器映射到文本的特征空间，实现模态间的语义对齐；S1.3、得到异质数据的重构特征之后，将原始图像特征与文本经过解码器重构的特征进行语义对齐，将高维特征与经过编码器得到的特征也进行一次对齐，实现模态内的语义对齐。5.根据权利要求4所述的一种深度无监督跨模态哈希检索方法，其特征在于：所述S1中，使用一个模态经过特征提取器得到的语义特征通过自编码器解码以后，映射到另外一个模态对应的语义空间，在同一个模态下也进行模态内部约束。2CN115840827A说明书1/7页一种深度无监督跨模态哈希检索方法技术领域[0001]本发明涉及跨模态哈希检索技术领域，尤其涉及一种深度无监督跨模态哈希检索方法。背景技术[0002]随着互联网和社交网络的迅速发展，多媒体信息视觉和文本等多媒体信息数据正在急剧增加，如何有效地检索这些数据是一个巨大的挑战。跨模态检索的目的是由一种模态检索具有相似语义特征的异质模态数据，而哈希方法被广泛使用在检索任务，以提高存储和计算效率。跨模态哈希方法试图将异质模态数据表现为紧凑的二进制代码，同时在一个共同的特征空间中保持不同模态数据之间的语义相似性；[0003]跨模式散列方法可分为两大类：有监督的跨模态哈希方法和无监督的跨模态哈希方法。常见的有监督的哈希方法已经显示出显著的性能。然而，上述无监督方法的一个共同缺点是，在高层次的语义特征提取过程中，视觉‑[0004]文本对中固有的共现信息很容易被忽略。由于缺乏标签信息的指导，在