基于一致性区域深度学习特征的近重复图像检索方法.pdf

(19)中华人民共和国国家知识产权局(12)发明专利申请(10)申请公布号CN110674334A(43)申请公布日2020.01.10(21)申请号201910869635.8(22)申请日2019.09.16(71)申请人南京信息工程大学地址210032江苏省南京市江北新区宁六路219号(72)发明人周志立孙文迪周煜孙星明(74)专利代理机构南京经纬专利商标代理有限公司32200代理人葛潇敏(51)Int.Cl.G06F16/583(2019.01)G06K9/46(2006.01)G06K9/62(2006.01)G06N3/04(2006.01)权利要求书2页说明书6页附图1页(54)发明名称基于一致性区域深度学习特征的近重复图像检索方法(57)摘要本发明公开了一种基于一致性区域深度学习特征的近重复图像检索方法，具体为：提取图像库中的所有图像的SIFT特征，将SIFT特征量化为视觉单词，为所有的SIFT特征建立倒排索引文件；保留每个图像的K个目标区域，计算目标区域的CNN特征C(Rc)；提取查询图像的SIFT特征，将其量化为视觉单词；利用倒排索引文件，找出候选图像；在查询图像中找出与每个候选图像的每个目标区域近似重复的近重复区域；提取近重复区域的CNN特征C(RQ)；计算任意C(Rc)和该CNN特征相应的C(RQ)的余弦相似度，作为该组的相似度评分；在每个候选图像中，选择余弦相似度最高的一组评分作为该候选图像与查询图像之间的相似度评分。本发明在提高检索效率的同时，大大的提高了图像检索的准确度。CN110674334ACN110674334A权利要求书1/2页1.基于一致性区域深度学习特征的近重复图像检索方法，其特征在于，具体包括如下步骤：步骤1：提取图像库中的所有图像的SIFT特征；步骤2：利用K-means聚类法，将每个SIFT特征量化为视觉单词，将来自不同图像，且视觉单词相同的任意两个SIFT特征认为是相互匹配的；则基于视觉单词，为所有的SIFT特征建立倒排索引文件；步骤3：利用EdgeBox算法，计算得到每个图像的目标区域，删除面积小于M/5×N/5的目标区域，所述M和N分别图像的宽和高；在剩下的目标区域中留下k个目标区域,并删除其他目标区域；利用改进CNN特征提取法计算每个目标区域的CNN特征C(Rc)；步骤4：提取查询图像的SIFT特征；利用K-means聚类方法将查询图像的SIFT特征量化为视觉单词；利用倒排索引文件，找出候选图像；所述候选图像为图像库中与查询图像之间存在5对以上的SIFT特征对；所述一对SIFT特征对由两个相互匹配的SIFT特征组成；步骤5：根据查询图像与每个候选图像中的每个目标区域之间存在的SIFT特征对，在查询图像中找出与该目标区域近似重复的近重复区域；将该近重复区域与该目标区域组成一组近重复的区域对；步骤6：利用改进CNN特征提取法，提取任意一组近重复的区域对中近重复区域的CNN特征C(RQ)；将该组近重复的区域对中C(RQ)和C(RC)的余弦相似度作为该组的相似度评分；在每个候选图像中，选择余弦相似度最高的一组评分作为该候选图像与查询图像之间的相似度评分。2.根据权利要求1所述的方法，其特征在于，所述步骤2或步骤4中将每个SIFT特征量化为视觉单词，具体为：对提取的所有SIFT特征进行K-means聚类，从而将所有SIFT特征划分为E个类别，每个类别用一个视觉单词表示。3.根据权利要求1所述的方法，其特征在于，所述步骤3中对面积大于等于M/5×N/5的每个目标区域按照其所包含的SIFT特征的个数由多到少排列，选择前k个目标区域。4.根据权利要求1所述的方法，其特征在于，所述步骤5的具体方法为：步骤5.1：利用倒排索引文件，找出查询图像与某个候选图像中的某个目标区域之间的n对SIFT特征对；步骤5.2：在n对SIFT特征对中随机选择ns对SIFT特征对，Y为在n对SIFT特征对中存在Y对真实匹配的SIFT特征对，n≤Y＜1；所述真实匹配的SIFT特征对由来自不同图像，且对图像的内容描述是一致的两个SIFT特征组成；P(ns)为在ns对特征对中至少有一对真实匹配的SIFT特征对的概率；T步骤5.3：根据ns对特征对中的任意一对特征对fQ＝[σQ,θQ,(xQ,yQ)]和fC＝[σC,θC,(xC,TyC)]，其中fQ为查询图像中的SIFT特征，σQ、θQ、(xQ,yQ)分别表示该SIFT特征的尺度、主方向和坐标；fC为目标区域中的SIFT特征，σC、θC、(xC,yC)分别表示该SIFT特征的尺度、主方向和坐标；利用如下公式确定一个近重复区域，即查询图像与该目标区域之间有ns个近重复的区域对；2CN110674334A权利要求书2/2页T其中，(uQ,vQ)、wQ和hQ分别是查询图像中