一种基于相似度重学习的在线跨模态检索方法及系统.pdf

(19)中华人民共和国国家知识产权局(12)发明专利申请(10)申请公布号CN114117153A(43)申请公布日2022.03.01(21)申请号202210083149.5(22)申请日2022.01.25(71)申请人山东建筑大学地址250101山东省济南市历城区临港开发区凤鸣路1000号(72)发明人刘兴波康潇聂秀山尹义龙郭杰(74)专利代理机构济南圣达知识产权代理有限公司37221代理人董雪(51)Int.Cl.G06F16/903(2019.01)G06F16/9038(2019.01)G06N20/00(2019.01)权利要求书2页说明书7页附图1页(54)发明名称一种基于相似度重学习的在线跨模态检索方法及系统(57)摘要本发明公开了一种基于相似度重学习的在线跨模态检索方法及系统，包括：获取原始数据样本，并划分为多个小组，构建训练集；构建哈希码学习的目标函数，利用所述训练集对目标函数进行训练，得到每一批数据对应的哈希码和哈希函数，并存入检索库；根据样本外拓展映射生成待查询样本的哈希码；基于数据流中的新样本数据对检索库中原始样本数据的哈希码进行更新；将待查询样本的哈希码与检索库中的更新后的哈希码进行比较，按海明距离从小到大排序返回检索结果。本发明实现了在不重新训练原始数据的前提下为新数据生成哈希表示，同时通过对新旧数据的相似关系的挖掘和新数据标签信息的利用，大大提高了检索精度。CN114117153ACN114117153A权利要求书1/2页1.一种基于相似度重学习的在线跨模态检索方法，其特征在于，包括：获取原始数据样本，并划分为多个小组，构建训练集；其中，每个小组包含不同模态的样本特征及其对应的语义标签；构建哈希码学习的目标函数，利用所述训练集对目标函数进行训练，得到每一批数据对应的哈希码和哈希函数，并存入检索库；根据样本外拓展映射生成待查询样本的哈希码；基于数据流中的新样本数据对检索库中原始样本数据的哈希码进行更新；将待查询样本的哈希码与检索库中的更新后的哈希码进行比较，按海明距离从小到大排序返回检索结果。2.如权利要求1所述的一种基于相似度重学习的在线跨模态检索方法，其特征在于，所述不同模态的样本特征至少包括：文本模态的样本特征和图像模态的样本特征。3.如权利要求1所述的一种基于相似度重学习的在线跨模态检索方法，其特征在于，构建哈希码学习的目标函数，具体过程包括：利用不同模态的样本特征信息和语义标签信息学习统一的度量矩阵M；将样本特征矩阵分解为映射矩阵U和公共表示矩阵V，为新旧样本特征学习统一的映射矩阵U，为不同模态数据学习公共表示矩阵V；使用度量矩阵M来计算当前批次的数据和原始累积数据之间的相似关系，并将其作为监督信息，将当前批次数据的标签矩阵作为另一监督信息，嵌入到目标函数中；综合上述特征，构建哈希码学习的目标函数。4.如权利要求3所述的一种基于相似度重学习的在线跨模态检索方法，其特征在于，使用度量矩阵M来计算当前批次的数据和原始累积数据之间的相似关系，具体为：其中，L（t‑1）为原始累积数据对应的标签矩阵，L（t）为当前批次数据对应的标签矩阵；M为度量矩阵，表示新度量下数据流中新旧样本的相似关系。5.如权利要求3所述的一种基于相似度重学习的在线跨模态检索方法，其特征在于，将当前批次数据的标签矩阵作为另一监督信息，具体为：其中，B（t）表示第t轮样本数据对应的哈希码，L表示当前批次数据对应的标签矩阵，G为映射矩阵，GT表示矩阵G的转置。6.如权利要求3所述的一种基于相似度重学习的在线跨模态检索方法，其特征在于，所述目标函数具体为：2CN114117153A权利要求书2/2页（t）其中，X1，X2表示不同模态的样本特征矩阵，U1，U2为映射矩阵，V为公共表示矩阵；B表示第t轮样本对应的哈希码，L（t）表示第t轮样本对应的标签；R,G为映射矩阵，λ、、、为超参数。7.如权利要求1所述的一种基于相似度重学习的在线跨模态检索方法，其特征在于，基于新的样本数据对原始样本数据的哈希码进行更新，具体为：；；其中，表示第t轮样本对应的映射矩阵，表示原始样本对应的映射矩阵；V(t‑1)为原始样本对应的公共表示矩阵，表示为原始样本学到的新的公共表示矩阵；和γ为超参数；R为映射矩阵，表示求取F‑范数；表示根据新的公共表示矩阵得到的旧数据对应的新哈希码。8.一种基于相似度重学习的在线跨模态检索系统，其特征在于，所述系统采用权利要求1‑7任一项所述的基于相似度重学习的在线跨模态检索方法。9.一种终端设备，其包括处理器和存储器，处理器用于实现各指令；存储器用于存储多条指令，其特征在于，所述指令适于由处理器加载并执行权利要求1‑7任一项所述的基于相似度重学习的在线跨模态检索方法。10.一种计算机可读存储介质，其中存储有多条指令，其