一种新的基于手绘草图的图像检索方法.pdf

(19)中华人民共和国国家知识产权局(12)发明专利申请(10)申请公布号CN105808665A(43)申请公布日2016.07.27(21)申请号201610113348.0(22)申请日2016.02.29(66)本国优先权数据201510954662.72015.12.17CN(71)申请人北京航空航天大学地址100191北京市海淀区学院路37号(72)发明人牛建伟路杰王磊马骏(74)专利代理机构北京永创新实专利事务所11121代理人祗志洁(51)Int.Cl.G06F17/30(2006.01)权利要求书2页说明书7页附图5页(54)发明名称一种新的基于手绘草图的图像检索方法(57)摘要本发明公开了一种新的基于手绘草图的图像检索方法，用于图像搜索。本方法对训练集中每组彩色图像和轮廓草图图像的对应位置提取图像块，计算图像块的GFHOG特征并进行聚类分别得到彩图和草图视觉词典，利用样本间聚类一致性得到两个视觉词典间的映射关系；对每个搜索用图像配置一组相似图像，利用协同分割算法确定对象位置及轮廓边界，提取图像块并确定最接近的草图视觉单词，计算每幅图像的单词统计向量，构建倒排索引，并调整各个单词对图像的重要性权重；对用户输入的轮廓草图，利用倒排索引计算草图与搜索图像库中所有图像的相似度。本发明能够有效的完成基于手绘草图的图像检索，并能够在满足检索响应速度的前提下应用于大规模图像库。CN105808665ACN105808665A权利要求书1/2页1.一种基于手绘草图的图像检索方法，其特征在于，该方法实现步骤如下：步骤1：从训练集提取对应位置的彩色图像块和草图图像块集合；使用含有人工描绘轮廓草图的图像库作为训练集，在每一组彩色图像和草图图像上，从对应位置提取图像块；对于彩色图像的每幅轮廓草图，以每个边缘点为中心得到图像块，然后从彩色图像的对应位置提取相应的图像块，最终得到草图图像块集合PS和彩色图像块集合PC；步骤2：采用聚类算法分别得到草图视觉词典和彩图视觉词典；分别对图像块集合PS和PC，提取其中所有图像块的GFHOG特征，对应得到草图和彩色图的特征描述符集合FS和FC；使用K-means聚类算法分别对集合FS和FC聚类，设得到K个聚类，K为正整数，将每个类的中心看作一个视觉单词，最终得到草图视觉词典VS和彩图视觉词典VC；步骤3：基于聚类一致性建立彩图视觉词典向草图视觉词典的映射关系；彩图视觉单词和草图视觉单词的聚类一致性表示为：其中，表示类别划归到彩图视觉单词的样本集合，表示类别划归到草图视觉单词的样本集合，且在中有对应样本；根据聚类一致性值的高低将每个彩图单词映射到一个或多个草图单词上，完成彩图视觉词典VC到草图视觉词典VS的映射；步骤4：在网络上收集图片建立搜索图像库，为搜索图像库中的每幅图像配置一组相似图像；步骤5：获得搜索图像库中每幅图像关于草图视觉词典的单词统计向量；对搜索图像库中每幅图像的一组相似图像，利用协同分割算法提取每个相似图像上的对象边界轮廓，并分别以轮廓上的像素点为中心，从图像上提取图像块；然后对每个图像块提取GFHOG特征；对于彩色图像块，利用最近邻搜索确定与该图像块最接近的彩图视觉单词，再利用两个视觉词典VC和VS的映射关系确定该图像块所对应的草图视觉单词；对于草图图像块，利用最近邻搜索确定与该图像块最接近的草图视觉单词；最后统计该组相似图像的图像块映射到每个草图视觉单词的个数；记搜索图像库中第i幅图像Ii的单词统计向量其中，nik表示图像Ii映射到草图视觉单词vk上的图像块数目，vk∈VS；步骤6：完成搜索图像库倒排索引的构建；通过步骤5获得搜索图像库中每幅彩色图像的统计向量其中N是搜索图像库中图像的数目；然后构建倒排索引，使用TF-IDF算法调整各个草图视觉单词对图像的权重；步骤7：检索过程中的相似度计算；对于用户输入的草图S，以所有边缘点为中心，提取到所有的图像块后，提取各图像块的GFHOG特征，从草图词典确定每个图像块的草图视觉单词，确定草图S的单词统计向量以2CN105808665A权利要求书2/2页及各草图视觉单词对图像S的重要性权重，然后利用倒排索引计算草图S与搜索图像库中所有图像的相似度。2.根据权利要求1所述的一种基于手绘草图的图像检索方法，其特征在于，所述的步骤6中，使用TF-IDF算法调整各个草图视觉单词对图像的权重，计算方法如下：首先，确定图像Ii中草图视觉单词vk的词频TFik和草图视觉单词vk的逆向文件频率IDFk；其中，然后，确定草图视觉单词vk对图像Ii的重要性权重wik＝TFik×IDFk。3.根据权利要求1或2所述的一种基于手绘草图的图像检索方法，其特征在于，所述的步骤7中，利用倒排索引计算草图S与搜索图像库中所有图像的相似度，其中草图S与图像Ii的相似度A