基于深度学习的手绘草图图像检索方法.pdf

(19)中华人民共和国国家知识产权局(12)发明专利申请(10)申请公布号CN106126581A(43)申请公布日2016.11.16(21)申请号201610442187.X(22)申请日2016.06.20(71)申请人复旦大学地址200433上海市杨浦区邯郸路220号(72)发明人张玥杰黄飞金城张涛(74)专利代理机构上海正旦专利代理有限公司31200代理人陆飞陆尤(51)Int.Cl.G06F17/30(2006.01)G06K9/62(2006.01)权利要求书3页说明书12页附图3页(54)发明名称基于深度学习的手绘草图图像检索方法(57)摘要本发明属于多媒体信息检索技术领域，具体为基于深度学习的手绘草图图像检索方法。本发明利用边缘轮廓检测技术和非极大值抑制技术实现彩色图像到类草图图像的转换，然后利用深度学习技术来构造查询草图和类草图的深度特征区分性特征表示，这种深度特征融合了图像的高层语义特征和底层视觉特征；这种深度特征在草图检索中表现得更有区分性。通过深度挖掘初次检索结果的视觉信息，抑制检索结果排序靠前的不相关图像，返回更相关的结果给用户。本方法准确性高，适应性强。对于在大规模图像数据基础上，考虑草图的语义信息而进行高效的图像检索具有重要意义，能够减小手绘草图的模糊性的影响，提高检索相关性，增强用户体验，在多媒体图像检索领域具有广泛的应用价值。CN106126581ACN106126581A权利要求书1/3页1.一种基于深度学习的手绘草图图像检索方法，其特征在于具体步骤如下：（1）类草图图像的生成：多从媒体数据集采取的彩色图像，采用两步变换的方法将其转换成类草图图像；其中，第一步采用边缘检测算法检测出彩色图像的粗轮廓，第二步使用非极大值抑制方法提取重要的轮廓，抑制非重要的轮廓，排除噪声点；（2）提取图像的多层次特征：利用深度学习的方法提取查询草图和类草图图像的两种特征：图像的高层语义特征和底层的视觉特征，即使用重新训练的CNN模型提取语义特征，使用CKN模型和BoVW框架来抽取图像的局部视觉特征；（3）构建图像的深度区分性特征：基于步骤（2）中提取的图像的两种层次特征，使用双峰深度自编码器模型深度挖掘二者的包含的区分性信息，融合得到图像最终的低维的特征向量表示；（4）在线的初次检索：在初次检索中，首先将查询草图与数据库中类草图图像的图像距离度量方法转换成相似度度量方法，然后依次计算查询图像与每一张类草图图像特征的相似度，按照相似度由高到低进行初次排序；（5）对初检索结果的重排序：首先根据初次检索结果前1000张图像作为候选集，为充分利用检索结果与查询图像的的视觉相似性，利用K-means聚类算法对候选集的局部视觉特征进行聚类，统计每一个聚类结果的可信度；然后利用每个聚类的可信度分别去重新更新图像的相似分数，得到候选集中每一张图像与查询草图的最终相似度，然后进行排序，返回给用户。2.根据权利要求1所述的图像检索方法，其特征在于：步骤（1）中利用两步转换的方法将多媒体数据集中的彩色图像转换成类草图图像，以减小查询草图与彩色图像之间的视觉鸿沟，具体过程如下：给定彩色图像，首先利用SE边缘检测算法检测出图像的粗略轮廓：SE边缘检测算法假设自然界中的图像的局部边缘结构是可预测的，即可通过大量图片统计出来，利用改进的随机森林分类器训练出彩色图像局部区域与对应的边缘结构的分类器模型；然后使用该分类器模型分别预测彩色图像中每一个图像局部区域的边缘结构图；最终，集合图像每一图像局部区域的边缘图得到彩色图像整体的边缘图，该边缘图保留了图像的主要轮廓信息，但是包含很多噪声点和对检索无益的非重要线条；对于上面步骤检测出的边缘图像，利用一种非极大值抑制的方法保留重要的轮廓，抑制不明显的轮廓和噪声点；用P表示由SE边缘检测算法检测出来的粗略边缘图像，I表示原彩色图像；首先计算出边缘图像P每一个像素点的梯度得到梯度图像GP，初始化(x,y)为梯度图像GP中最大梯度像素点，GP(x,y)表示(x,y)处的梯度值，max(GP(:,:))表示当前最大的梯度值，然后执行下面的循环：当max(GP(:,:))>th2;当GP(x,y)>th1;步骤1:找到以(x,y)为中心的(5╳5)邻域Ω内除(x,y)以外的最大梯度值的坐标集Φ；步骤2:从坐标集Φ中选取离(x,y)最近的点(x’,y’)作为下一次循环的候选点，连接(x,y)和(x’,y’)，抑制梯度图像GP中坐标集Ω中的其它像素点；步骤3:更新(x,y)=(x’,y’)，进行下一轮循环；2CN106126581A权利要求书2/3页结束；设置(x,y)为GP中全局的最高梯度值的坐标点；结束；得到原彩色图像I的类草图图像GP；其中th1和th2分别是控制类草图图像中线条长度和线条数量的经验值，在迭