一种基于序数哈希的图像检索方法及系统.pdf

(19)国家知识产权局(12)发明专利申请(10)申请公布号CN115357747A(43)申请公布日2022.11.18(21)申请号202211269708.8G06N3/08(2006.01)(22)申请日2022.10.18G06V10/26(2022.01)G06V10/74(2022.01)(71)申请人山东建筑大学地址250000山东省济南市历城区临港开发区凤鸣路1000号申请人山东大学(72)发明人王少华史洋刘兴波聂秀山尹义龙(74)专利代理机构济南圣达知识产权代理有限公司37221专利代理师马海波(51)Int.Cl.G06F16/58(2019.01)G06F16/22(2019.01)G06N3/04(2006.01)权利要求书2页说明书6页附图1页(54)发明名称一种基于序数哈希的图像检索方法及系统(57)摘要本发明属于图像检索相关领域，本发明提出了一种基于序数哈希的图像检索方法及系统，利用视觉Transformer和卷积神经网络，即保留卷积神经网络归纳偏置的优势；同时使用视觉Transformer弥补大跨度信息缺失的问题，同时增强图像的局部空间信息的利用。CN115357747ACN115357747A权利要求书1/2页1.一种基于序数哈希的图像检索方法，其特征在于，包括以下步骤：获取图像并进行标签标注，作为训练数据集；将训练数据集中的图像输入至检索模型进行训练，得到训练好的检索模型；其中，所述检索模型包括卷积神经网络模块、视觉Transformer模块；将训练数据集中的图像、图像经过处理后得到的分割图像分别输入至卷积神经网络模块、视觉Transformer模块得到第一特征、第二特征；将第一特征和第二特征基于维度进行按位相乘，得到哈希码；将待检索的图像输出至训练好的检索模型，输出检索结果。2.如权利要求1所述的一种基于序数哈希的图像检索方法，其特征在于，将分割图像通过线性投影层映射为D维分割图像向量，将D维分割图像向量与预设可学习嵌入进行结合得到嵌入向量，将嵌入向量输入至视觉Transformer模块，输出第二特征。3.如权利要求2所述的一种基于序数哈希的图像检索方法，其特征在于，所述视觉Transformer模块由Transformer编码器组成，所述Transformer编码器由交替的多层子注意力层和多层感知器组成，在每一个层前使用层归一化，在每一个层后使用残差连接。4.如权利要求1所述的一种基于序数哈希的图像检索方法，其特征在于，所述卷积神经网络模块采用Resnet50，将图像输入至卷积神经网络模块，输出与第二特征维度一致的第一特征。5.如权利要求1所述的一种基于序数哈希的图像检索方法，其特征在于，将第一特征和第二特征按位相乘，得到序数哈希的感知表示；将序数哈希的感知表示进行排序，得到序数哈希的排序表示；将序数哈希的排序表示基于最大维度，输出哈希码。6.如权利要求1所述的一种基于序数哈希的图像检索方法，其特征在于，利用损失函数和随机梯度下降算法对检索模型的参数进行调整，所述损失函数采用样本相似性损失。7.一种基于序数哈希的图像检索系统，其特征在于，包括：获取模块，其被配置为：获取图像并进行标签标注，作为训练数据集；模型建立及训练模块，其被配置为：将训练数据集中的图像输入至检索模型进行训练，得到训练好的检索模型；其中，所述检索模型包括卷积神经网络模块、视觉Transformer模块；将训练数据集中的图像、图像经过处理后得到的分割图像分别输入至卷积神经网络模块、视觉Transformer模块得到第一特征、第二特征；将第一特征和第二特征基于维度进行按位相乘，得到哈希码；检索输出模块，其被配置为：将待检索的图像输出至训练好的检索模型，输出检索结果。8.如权利要求7所述的一种基于序数哈希的图像检索系统，其特征在于，在模型建立及训练模块中，将分割图像通过线性投影层映射为D维分割图像向量，将D维分割图像向量与预设可学习嵌入进行结合得到嵌入向量，将嵌入向量输入至视觉Transformer模块，输出第二特征。9.如权利要求8所述的一种基于序数哈希的图像检索系统，其特征在于，所述视觉Transformer模块由Transformer编码器组成，所述Transformer编码器由交替的多层子注2CN115357747A权利要求书2/2页意力层和多层感知器组成，在每一个层前使用层归一化，在每一个层后使用残差连接。10.如权利要求7所述的一种基于序数哈希的图像检索系统，其特征在于，在模型建立及训练模块中，将第一特征和第二特征按位相乘，得到序数哈希的感知表示；将序数哈希的感知表示进行排序，得到序数哈希的排序表示；将序数哈希的排序表示基于最大维度，输出哈希码。3CN115357747A说明书1/6页一种基于序数哈希的图像检索