一种基于形状回归的草图图像检索方法.pdf

(19)中华人民共和国国家知识产权局(12)发明专利申请(10)申请公布号CN108681555A(43)申请公布日2018.10.19(21)申请号201810304969.6(22)申请日2018.04.08(71)申请人天津大学地址300072天津市南开区卫津路92号(72)发明人雷建军宋宇欣侯春萍郑凯夫彭勃牛力杰(74)专利代理机构天津市北洋有限责任专利代理事务所12201代理人李林娟(51)Int.Cl.G06F17/30(2006.01)G06N3/04(2006.01)G06N3/08(2006.01)权利要求书1页说明书5页附图2页(54)发明名称一种基于形状回归的草图图像检索方法(57)摘要本发明公开了一种基于形状回归的草图图像检索方法，所述方法包括以下步骤：使用ImageNet图像数据预训练的VGG19网络作为初始化网络；使用Gb边界提取方法，生成草图近似；将Gb轮廓图像和原始图像同时送到初始化网络中进行训练，实现域迁移学习；在初始化网络的分类softmax损失基础上，增加形状回归损失作为网络整体的损失函数，该损失函数的设计有助于挖掘图像和形状之间的潜在一致性；在图像检索的过程中，利用提取出来的草图特征和图像特征基于余弦距离进行匹配和排序。本发明通过引入形状回归损失，利用经过预训练的卷积神经网络，对草图域和图像域进行学习，实现基于形状回归的草图图像检索。CN108681555ACN108681555A权利要求书1/1页1.一种基于形状回归的草图图像检索方法，其特征在于，所述方法包括以下步骤：使用ImageNet图像数据预训练的VGG19网络作为初始化网络；使用Gb边界提取方法，生成草图近似；将Gb轮廓图像和原始图像同时送到初始化网络中进行训练，实现域迁移学习；在初始化网络的分类softmax损失基础上，增加形状回归损失作为网络整体的损失函数，该损失函数的设计有助于挖掘图像和形状之间的潜在一致性；在图像检索的过程中，利用提取出来的草图特征和图像特征基于余弦距离进行匹配和排序。2.根据权利要求1所述的一种基于形状回归的草图图像检索方法，其特征在于，在网络训练完成后，所述初始化网络具备同时输出有效的草图特征和图像特征的能力，更好地关联图像特征和草图特征。3.根据权利要求1所述的一种基于形状回归的草图图像检索方法，其特征在于，所述形状回归损失将形状信息引入图像特征，促进草图特征与其对应的图像形状的关联性信息的挖掘，提取鲁棒的图像和草图特征。4.根据权利要求1所述的一种基于形状回归的草图图像检索方法，其特征在于，所述形状回归损失项的回归目标是从Gb轮廓中提取的形状信息，用于增强网络保留形状信息的能力。5.根据权利要求1所述的一种基于形状回归的草图图像检索方法，其特征在于，调整Gb轮廓图的大小为8×8来降低由于大分辨率引入的形状误差影响，调整大小后的轮廓图被映射成一个一维形状向量，大小为64维；同时，形状回归损失嵌入层的维度也调整为64维，与上述形状向量的大小相匹配。6.根据权利要求1所述的一种基于形状回归的草图图像检索方法，其特征在于，所述网络整体的损失函数设计为：L(p,y,t,v)＝Lcls(p,y)+λLreg(t,v)其中，第一个损失项Lcls(p,y)＝-logpy，是真实类别y的对数分类损失，py为输入图像或轮廓属于真实类别的概率；第二个损失项λLreg(t,v)是基于形状信息的回归损失，t表示目标形状向量，从Gb轮廓中提取得到，v表示网络预测的形状信息输出，超参数λ表示两个损失项之间的权重比。7.根据权利要求6所述的一种基于形状回归的草图图像检索方法，其特征在于，两个损失项之间的权重比λ值设为1，形状回归损失项使用欧式距离作为回归的距离度量函数，具体设计如下：2CN108681555A说明书1/5页一种基于形状回归的草图图像检索方法技术领域[0001]本发明涉及图像检索、计算机视觉技术领域，尤其涉及一种基于形状回归的草图图像检索方法。背景技术[0002]随着互联网技术的飞速发展和多媒体设施的迅速普及，互联网上数字图像数量在飞速增长。如何对数字图像进行高效的查找成为了当下迫切的需求。对图像进行高效检索在人们的日常生活中以及在医学、公共安全及国防、电影工业、数字图书馆、遥感、农业等领域中发挥着重要作用。因此，图像检索技术受到了国内外学者的广泛关注，成为了当下的研究热点。图像检索最初的研究方向主要是基于文本的图像检索技术。基于文本的图像检索即使用文本方式对图像的特征进行描述。随着计算机计算能力的提升，基于内容的图像描述方式逐渐普及。基于内容的图像检索通过对图像内容的分布进行描述来获取图像特征，通过此特征进行检索匹配。图像中纹理、颜色、形状等复杂性是图像检索技术的巨大挑战之一。输入图像和输出检索结果之间的映射匹