一种基于无监督深度图像集合哈希的多标签图像检索方法.pdf

(19)国家知识产权局(12)发明专利申请(10)申请公布号CN114637878A(43)申请公布日2022.06.17(21)申请号202210323411.9(22)申请日2022.03.30(71)申请人东北大学地址110819辽宁省沈阳市和平区文化路三号巷11号(72)发明人郭楠白翠霞杨云霞高天寒(74)专利代理机构沈阳东大知识产权代理有限公司21109专利代理师梁焱(51)Int.Cl.G06F16/58(2019.01)G06N3/04(2006.01)G06N3/08(2006.01)权利要求书2页说明书6页附图5页(54)发明名称一种基于无监督深度图像集合哈希的多标签图像检索方法(57)摘要本发明提供一种基于无监督深度图像集合哈希的多标签图像检索方法，涉及图像检索技术领域。该方法将图像检索中获取的多标签数据集转化为多标签图像集合数据集，每个集合中的图片拥有完全相同的标签；利用VGG‑16网络对多标签图像集合数据集进行图像特征的提取；对第二个全连接层fc7层图像特征进行集合特征的计算；利用所有集合的集合特征进行语义结构的构建；利用平方损失函数进行哈希编码的学习，得到训练后的网络结构模型；利用训练后的网络结构模型实现进行多标签图像检索。本发明能更好保留同一集合中多个图像代表同一对象的特点，同时避免全部图像特征之间的逐一比对，大幅减少对比次数，具有可靠、快速的特点，适用于大规模数据的图像检索场景。CN114637878ACN114637878A权利要求书1/2页1.一种基于无监督深度图像集合哈希的多标签图像检索方法，其特征在于：该方法包括以下步骤：步骤1：将图像检索中获取的多标签数据集转化为多标签图像集合数据集，每个集合中的图片拥有完全相同的标签；步骤2：利用VGG‑16网络对多标签图像集合数据集进行图像特征的提取；步骤3：对第二个全连接层fc7层图像特征进行集合特征的计算；针对每个图像集合，将集合内所有图像的图像特征表示为唯一的集合特征，同时尽可能多的保留来自不同图像的信息；在保留底层图像特征分布的同时，推导出统计量来描述集合特征分布的全局几何性质；步骤4：利用所有集合的集合特征进行语义结构的构建；步骤5：利用平方损失函数进行哈希编码的学习，得到训练后的网络结构模型；步骤6：利用训练后的网络结构模型进行多标签图像检索。2.根据权利要求1所述的基于无监督深度图像集合哈希的多标签图像检索方法，其特征在于：所述步骤1中在获取图像检索中的多标签数据集后，对筛选出的原始单标签进行不同数量的组合，利用组合得到的标签来构造包含集合信息的图像数据集，即多标签图像集合数据集，每个图像集合内的图片拥有完全相同的多标签信息。3.根据权利要求1或2所述的基于无监督深度图像集合哈希的多标签图像检索方法，其特征在于：所述步骤2中，VGG‑16网络包括5个卷积层、3个全连接层和softmax输出层，层与层之间使用max‑pooling分开；利用在ImageNet数据集上预训练的VGG‑16模型的网络参数进行初始化；使用VGG‑16网络中的第二个全连接层fc7层提取的图像特征作为后续步骤的输入。4.根据权利要求3所述的基于无监督深度图像集合哈希的多标签图像检索方法，其特征在于：所述步骤3中，给定一个输入的图像集合S，分别计算平均特征mean(S)、特征方差var(S)、最小特征min(S)、最大特征max(S)，mean(S)表示集合S在样本特征空间中的平均位置，var(S)表示给定集合S内各特征的值相对于其均值的变化情况，min(S)、max(S)用于表示出集合特征的取值范围；集合S的集合特征F(S)为平均特征mean(S)、特征方差vaF(S)、最小特征min(S)、最大特征max(S)四个特征的直接拼接，即：F(S)＝concatenation(mean(S)，var(S)，min(S)，max(S))。5.根据权利要求4所述的基于无监督深度图像集合哈希的多标签图像检索方法，其特征在于：所述步骤4的具体方法为：步骤4.1：计算每对集合特征数据点之间的余弦距离，根据余弦距离绘制距离分布直方图：步骤4.2：利用分布概率的最大值将距离分布直方图划分为左右两部分，分别计算左右两部分的均值μleft、μright和标准差σleft、σright，并分别拟合为合适的正态分布曲线；步骤4.3：设置距离阈值d1和d2，d1＝μleft‑ασleft，d2＝μright+βσright，根据距离阈值将距离分布直方图分为三段，构造语义结构D，如公式(2)所示；2CN114637878A权利要求书2/2页其中，d(i，j)表示集合i和集合j的集合特征之间的余弦距离；当Dij为1时，表示两个集合的集合特征高度相似；当Dij为0时，表示两个集合的集合特征中等相似；