基于深度哈希和GPU加速的大规模图像检索方法.pdf

(19)中华人民共和国国家知识产权局(12)发明专利申请(10)申请公布号CN108920720A(43)申请公布日2018.11.30(21)申请号201810852700.1(22)申请日2018.07.30(71)申请人电子科技大学地址610000四川省成都市高新区（西区）西源大道2006号(72)发明人段翰聪付美蓉黄子镭闵革勇谭春强(74)专利代理机构成都行之专利代理事务所(普通合伙)51220代理人梁田(51)Int.Cl.G06F17/30(2006.01)G06N3/04(2006.01)G06F9/48(2006.01)权利要求书2页说明书8页附图3页(54)发明名称基于深度哈希和GPU加速的大规模图像检索方法(57)摘要本发明公开了基于深度哈希和GPU加速的大规模图像检索方法，该方法基于图片对的哈希方法，采用多任务深度学习机制，将分类损失函数与对比损失函数相结合，量化过程中，在保留图片对之间的相似性的同时，尽可能地保留图片本身的语义信息，分类任务与量化任务互相指导学习；同时，采用局部连接模块取代量化网络的全连接层，减少特征之间的冗余信息。设计并实现了更深层次的网络，深层次网络通常能够得到良好的特征表达。在汉明排序的基础上，实现了基于GPU的多层次并行检索方法。本发明不仅提高了检索精度，且能够在百万规模的图像库中完成单张检索延时0.8ms的效果。CN108920720ACN108920720A权利要求书1/2页1.基于深度哈希和GPU加速的大规模图像检索方法，其特征在于，该方法包括以下步骤：步骤一、将分类任务和量化任务融合到一个完整网络中，在训练数据集上进行多任务深度学习训练，得到深度哈希网络模型；步骤二、在GPU中，采用步骤一训练得到的深度哈希网络模型对待检索图片进行多层次并行检索，具体步骤包括：步骤2.1使用步骤一训练得到的深度哈希模型对待检索图片提取浮点特征和哈希特征；步骤2.2批次计算待检索图片的哈希特征和特征数据库中哈希特征的汉明距离，同时统计所有汉明距离的数量信息；步骤2.3使用分析核函数与索引选取核函数根据汉明距离和统计信息，对满足候选条件的图片索引进行选取得到候选集；步骤2.4使用欧式距离和浮点特征进行二次相似性计算，并使用K近邻算法从候选集中选出结果。2.根据权利要求1所述的基于深度哈希和GPU加速的大规模图像检索方法，其特征在于，所述步骤一中所述的深度哈希网络模型包括由ResNet的BuildingBlock堆叠而成的神经网络，并结合损失函数解决分类损失与量化损失对网络参数更新的影响程度，该损失函数表示如下：式中，Ls为对比损失函数，Liden为分类损失函数，W为网络的可学习参数，α和β是两个权重因子，N为训练数据集中图片的数量，P为训练数据集经过完全组合能够得到的图片对数量，yi表示第i个图片对的相似情况，||hi,a-hi,b||2表示第i个图片对之间的欧式距离，||·||1表示L1范数，其中I表示与其相减向量同维度的向量且都取值为1，m为期望的不相似的图片对之间应该具有的最小距离，为模型判断图片i为类别Ci的概率。3.根据权利要求2所述的基于深度哈希和GPU加速的大规模图像检索方法，其特征在于，由ResNet的BuildingBlock堆叠而成的神经网络主要包括结构A和结构B；在结构A中，首先由两个卷积层进行特征提取，然后将原始输入与卷积层的输出作为输入，经过Elewise层；在结构B中，对于原始输入，分别由两个卷积层和一个卷积层进行特征提取，然后将卷积层的输出作为输入，经过Elewise层，对于两个卷积层，其作用与结构A中的两个卷积层一样，都是卷积核大小为3的卷积层，对于一个卷积层，其卷积核大小为1。4.根据权利要求2所述的基于深度哈希和GPU加速的大规模图像检索方法，其特征在于，所述深度哈希网络模型的量化编码层采用局部连接模块的方式来减少量化比特位中的冗余信息：对于输入层，首先使用Slice方法进行切割为k个部分，对于这k个部分，然后对每部分采用全连接的方式得到一个维度为1的输出。5.根据权利要求1所述的基于深度哈希和GPU加速的大规模图像检索方法，其特征在2CN108920720A权利要求书2/2页于，所述步骤2.2中汉明距离的计算和统计具体为：利用GPU中的block对检索任务进行分离，每个block中的线程计算待检索图片的哈希特征与特征数据库中哈希特征进行距离计算，并生成一个statistics数组用来统计每个线程计算的距离结果数量，同时存储检索特征与特征数据库中特征的汉明距离。3CN108920720A说明书1/8页基于深度哈希和GPU加速的大规模图像检索方法技术领域[0001]本发明涉及计算机视觉领域，具体涉及一种基于深度哈希和GPU加速的大规模图像检索方法。背景技术[0