一种基于草图局部特征和全局特征匹配的图像检索方法.pdf

(19)国家知识产权局(12)发明专利申请(10)申请公布号CN114860980A(43)申请公布日2022.08.05(21)申请号202210580704.5(22)申请日2022.05.26(71)申请人重庆邮电大学地址400065重庆市南岸区南山街道崇文路2号(72)发明人戴大伟刘颖格唐晓宇李玉堂夏书银王国胤(74)专利代理机构重庆辉腾律师事务所50215专利代理师卢胜斌(51)Int.Cl.G06F16/583(2019.01)G06N3/08(2006.01)G06V10/74(2022.01)G06V10/774(2022.01)G06V10/82(2022.01)权利要求书2页说明书7页附图2页(54)发明名称一种基于草图局部特征和全局特征匹配的图像检索方法(57)摘要本发明属于动态草图检索领域，具体涉及一种基于草图局部特征和全局特征匹配的图像检索方法，该方法包括：获取待检索的手绘草图序列及对应的草图块，将草图序列和草图块输入到训练好的神经网络模型中得到草图的嵌入向量和草图块的嵌入向量；计算嵌入向量输入数据的欧式距离；将计算出的欧式距离进行加权融合，根据融合后的欧式距离返回检索到top‑k张图片，得到草图的检索结果；改进的神经网络模型包括完整图像分支和切块图像分支；完整图像分支用于对完整的草图进行处理，切块图像分支用于对草图块进行处理；本发明针对序列草图笔画信息稀少的问题，使用草图分割的方法搭建不同分支的网络模型，减少草图笔画信息稀少带来的准确率下降的问题。CN114860980ACN114860980A权利要求书1/2页1.一种基于草图局部特征和全局特征匹配的图像检索方法，其特征在于，该方法包括：实时获取待检索的手绘草图序列以及手绘草图序列对应的草图块；将手绘草图序列和草图块输入到训练好的改进的神经网络模型中，得到草图的嵌入向量和草图块的嵌入向量；计算草图嵌入向量与输入的草图序列的欧式距离，计算草图块的嵌入向量与输入的草图块的欧式距离；对草图的欧式距离和草图块的欧式距离进行加权融合，根据融合后的欧式距离返回检索到top‑k张图片，得到草图的检索结果；改进的神经网络模型包括完整图像分支和切块图像分支，完整图像分支和切块图像分支均采用骨干模型，其中骨干模型包括预训练网络、注意力层以及降维层；完整图像分支用于对完整的草图进行处理，切块图像分支用于对草图块进行处理。2.根据权利要求1所述的一种基于草图局部特征和全局特征匹配的图像检索方法，其特征在于，对改进的神经网络模型进行训练的过程包括：S1：构建训练集，训练集中的数据包括手绘草图和手绘草图对应的草图块；S2：将训练集中完整的手绘草图和对应的手绘草图块分别输入到骨干模型中，采用三重损失对骨干模型进行预训练；S3：将完整的草图按照笔画数将其渲染成一个含有n张草图的渐进式草图序列，该草图序列中每一张草图包含的笔画信息由少到多；S4：将渲染后的草图序列中的每一张图像进行切分成m块，并记录每一个草图块的笔画信息所占比例k；S5：将含有n张草图的草图序列输入到完整图像分支中，得到草图的嵌入向量；采用三重损失函数计算草图序列中每一张草图的嵌入向量与目标图像的嵌入向量之间的损失；S6：将对应的m张草图序列块同时输入到切块图像分支中，得到得到m个草图块的嵌入向量；计算m个草图块的嵌入向量和对应的m个图像块的嵌入向量之间的误差；根据比例k将m个误差进行融合，得到切块图像分支的损失；S7：将草图序列中所有草图的损失和草图块的损失进行融合，得到模型的损失函数，将模型的损失函数进行反向传播，调整模型中的参数；S8：获取下一张目标图像的草图分支，重复上述步骤S3‑S7，直至模型达到训练次数上限。3.根据权利要求2所述的一种基于草图局部特征和全局特征匹配的图像检索方法，其特征在于，构建训练集的过程包括：根据绘制一幅图像的草图所需的笔画数将对应图像的草图渲染成所需要的n张草图序列，渲染完成后对数据集进行切分，将数据集中的所有图像以及渲染后的草图序列均切分成m份，对切分后的数据进行集合，得到数据集；数据集由完整图像集和切块图像集组成，完整图像集包含多张完整图像以及对应图像按照时间顺序渲染成的n张手绘草图序列集组成，切块图像集中的图像是由完整图像集中的每一张图片切分成m块组成。4.根据权利要求2所述的一种基于草图局部特征和全局特征匹配的图像检索方法，其特征在于，提取完整图像集中每一张草图的嵌入向量的过程包括：将已经渲染好的草图序列按照笔画由少到多的顺序输入到固定参数的预训练网络层f1和完整图像分支的注意力层f2，得到草图的特征向量；将经过f1和f2提取到的特征向量输入到模型中完整图像分支的降维层f3中进行降维处理，得到草图的嵌入向量。2CN114860980A权利要求书2/2页5.根据权利要求2所