基于卷积神经网络的图像检索重排序方法.pdf

(19)中华人民共和国国家知识产权局(12)发明专利申请(10)申请公布号CN114064955A(43)申请公布日2022.02.18(21)申请号202010758557.7(22)申请日2020.07.31(71)申请人中国科学技术大学地址230026安徽省合肥市包河区金寨路96号(72)发明人周文罡李厚强欧阳剑波(74)专利代理机构北京凯特来知识产权代理有限公司11260代理人郑立明韩珂(51)Int.Cl.G06F16/535(2019.01)G06F16/538(2019.01)G06F16/583(2019.01)G06N3/04(2006.01)权利要求书1页说明书4页附图2页(54)发明名称基于卷积神经网络的图像检索重排序方法(57)摘要本发明公开了一种基于卷积神经网络的图像检索重排序方法，包括：截取原始的检索结果列表，保留前L个结果，依据L个结果的特征的相似性，将L个结果表示为相似性矩阵，再根据相似性矩阵，计算对应的相关系数矩阵；将相关系数矩阵输入至预先训练好的卷积神经网络中，预测L个结果与查询图像的相关度，基于相关度大小对L个结果重排序，再与原始的检索结果列表中剩余部分组合在一起，获得对应的重排序结果；设置不同的L值，对于不同L值对应的重排序结果，基于图像检索质量评价的方法，选出检索质量最高的作为最终重排序结果。该方法能够在保证重排序性能的同时保证检索系统要求的实时性，并且该方法可应用于通用的检索系统。CN114064955ACN114064955A权利要求书1/1页1.一种基于卷积神经网络的图像检索重排序方法，其特征在于，包括：截取原始的检索结果列表，保留前L个结果，依据L个结果的特征的相似性，将L个结果表示为相似性矩阵，再根据相似性矩阵，计算对应的相关系数矩阵；将相关系数矩阵输入至预先训练好的卷积神经网络中，预测L个结果与查询图像的相关度，基于相关度大小对L个结果重排序，再与原始的检索结果列表中剩余部分组合在一起，获得对应的重排序结果；设置不同的L值，对于不同L值对应的重排序结果，基于图像检索质量评价的方法，选出检索质量最高的作为最终重排序结果。2.根据权利要求1所述的一种基于卷积神经网络的图像检索重排序方法，其特征在于，所述将L个结果表示为相似性矩阵，再根据相似性矩阵，计算对应的相关系数矩阵包括：将L个结果表示为相似性矩阵S＝[S1,S2,…,SL]，再通过下式转换为相关系数矩阵：其中，C(i,j)为相关系数矩阵C第i行第j列的元素，Si为S的第i个列向量，为Si的第k个元素，为Sj的均值；表示S的第j个列向量Sj中的第k个元素、Sj的均值；3.根据权利要求1所述的一种基于卷积神经网络的图像检索重排序方法，其特征在于，所述卷积神经网络的标签为原始的检索结果列表中真实的相关度矩阵G，其第i行第j列元素记为G(i,j)；若L个结果第i个与第j个图像相关，则相关系数矩阵对应位置的G(i,j)为1，否则为0，即：所述卷积神经网络包括三个卷积层，前两个卷积层后接一个Relu层，最后一个卷积层后接sigmoid层，以将网络输出归一化至0-1之间；卷积神经网络加权的MSE损失函数训练：其中，ω为惩罚系数，G(i,j)为真实相关度矩阵G中第i行第j列的元素，Yi,j为卷积神经网络输出的相关度预测矩阵Y中第i行第j列的元素。4.根据权利要求1所述的一种基于卷积神经网络的图像检索重排序方法，其特征在于，所述将相关系数矩阵输入至预先训练好的卷积神经网络中，预测出L个结果与查询图像的相关度包括：预先训练好的卷积神经网络输出的第一行与第一列代表了，网络预测的L个结果中每一个图像与查询图像的相关度，将第一行与第一列取平均，作为最终的相关度预测结果：2CN114064955A说明书1/4页基于卷积神经网络的图像检索重排序方法技术领域[0001]本发明涉及图像检索领域，尤其涉及一种基于卷积神经网络的图像检索重排序方法。背景技术[0002]随着互联网的飞速发展和移动智能终端的普及，多媒体数据尤其是视觉数据呈现出爆炸式的增长。数十亿人在网上共享和浏览照片和视频。为了让用户能够快速地从这些多媒体数据中找到自己感兴趣的内容，多媒体检索技术受到了广泛的关注并且得到了快速的发展。在海量的数据面前，如何设计高效的检索算法一直是国内外学术届与工业界的研究热点。图像作为多媒体数据的重要组成部分，已经成为了信息检索领域关注的重点。不同于早期的基于文本的图像检索技术，基于内容的图像检索将图像的视觉内容作为搜索的依据，更加直接的表达了用户的搜索意图，同时也可以作为文本搜索的重要补充来进一步提高搜索的性能。[0003]图像检索任务是根据给定的查询图像在大规模图像数据库中检索得到与查询图像相关的图像。然而原始的检索结果效果可能差强人意，而图像检索重排序是一种