一种基于全局-局部一致性网络的图像特征匹配方法.pdf

(19)国家知识产权局(12)发明专利申请(10)申请公布号CN115439671A(43)申请公布日2022.12.06(21)申请号202211038612.0G06V10/82(2022.01)(22)申请日2022.08.26G06V20/13(2022.01)(71)申请人武汉大学地址430072湖北省武汉市武昌区珞珈山街道八一路299号(72)发明人张洪艳刘宇雁(74)专利代理机构武汉科皓知识产权代理事务所(特殊普通合伙)42222专利代理师王琪(51)Int.Cl.G06V10/75(2022.01)G06V10/74(2022.01)G06V10/764(2022.01)G06V10/46(2022.01)G06V10/36(2022.01)权利要求书2页说明书5页附图2页(54)发明名称一种基于全局-局部一致性网络的图像特征匹配方法(57)摘要本发明涉及一种基于全局‑局部一致性网络的图像特征匹配方法，该方法包括获取参考图像和感知图像之间的假定匹配点集；计算假定匹配点集之间的向量长度和角度，并生成一个三维的运动向量分布图；利用全局变换一致性模块对运动向量分布图进行粗分类得到纯净的内点集；利用内点集作为假定匹配点集的邻域，为每个特征点构建邻域图；利用局部邻域一致性模块对邻域图进行相似度评估，获得优化后的对应关系。本发明可以在不依赖于任何预定义变换模型的情况下，处理各种各样的变换模式(刚性和非刚性)，有效地过滤掉错误的匹配，并完全保留正确的对应关系。CN115439671ACN115439671A权利要求书1/2页1.一种基于全局‑局部一致性网络的图像特征匹配方法，其特征在于，包括以下步骤：步骤1，利用特征点提取算法获得图像之间的假定匹配点集；步骤2，对生成的假定匹配点集，计算点集之间的向量长度和角度，并生成一个三维的运动向量分布图D；步骤3，基于全局一致性原理对步骤2中的运动向量分布图进行粗分类，不仅要剔除冗余点，同时剔除和冗余点黏连的内点，得到纯净的内点集；步骤4，利用步骤3中获得的内点集作为假定匹配点集的邻域，为每个特征点构建邻域图G；步骤5，基于局部领域一致性原理对步骤4中的邻域图进行特征点相似度评估；步骤6，利用步骤5中得到的特征点的相似值分布，获得优化后的对应关系。2.根据权利要求1所述的一种基于全局‑局部一致性网络的图像特征匹配方法，其特征在于：步骤1中，考虑一个图像对，参考图像和感知图像，采用现有的特征检测和描述算法SIFT和最近邻匹配NNDR来获得假定匹配点集。3.根据权利要求1所述的基于全局‑局部一致性网络的图像特征匹配方法，其特征在于：步骤2中利用图像之间的全局变换连续性和一致性获得三维运动向量分布图。4.根据权利要求3所述的基于全局‑局部一致性网络的图像特征匹配方法，其特征在于：步骤2中生成三维运动向量分布图包括以下步骤：包括以下步骤：对于n对假定对应点集其中分别表示两个对应特征点的坐标，我们让表示点对之间运动向量的角度，其中为点集S的范围，max(·)和min(·)分别表示集合中的最大值和最小值，同时表示点对之间运动向量的长度。随后，我们可以将假定匹配点集转换为一个带有噪声的三维的运动向量分布图D＝{(θ,l,p)}，其中p＝{1,2,...,n}。5.根据权利要求1所述的基于全局‑局部一致性网络的图像特征匹配方法，其特征在于：步骤3中，利用全局变换一致性模块对步骤2中的运动向量分布图进行粗分类，得到纯净的内点集；全局变换一致性模块具体细节如下，对步骤2中获得的三维的运动向量分布图D中的每个点Di，利用KNN来搜寻每个点的k个最近邻得到有向图代表每个点的局部拓扑结构；接下来，使用一个共享的多层感知机MLP来编码图特征f，并且对每个顶点的图特征进行聚合操作，得到其中，为过滤器的权重，由MLP训练得到，M表示过滤器的个数，m取1—M；ReLU为激活函数，整个MLP共有5个卷积层，在每一层输出的特征空间中重新计算最近邻来更新有向图g，g为gi的集合，使得感受野和的运动向量分布图D的直径一样大。2CN115439671A权利要求书2/2页6.根据权利要求1所述的基于全局‑局部一致性网络的图像特征匹配方法，其特征在于：步骤4中的具体实现方式如下：对于假定匹配点集Z，首先对Z的空间坐标进行归一化处理，得到归一化之后的点集Z’：随后，利用步骤3中得到的内点集为Z’寻找k个最近邻，最后特征点的邻域图表示为：其中，t为Z’邻点。7.根据权利要求1所述的基于全局‑局部一致性网络的图像特征匹配方法，其特征在于：步骤5中，利用局部邻域一致性模块对步骤4中的邻域图G进行相似度评估，局部邻域一致性模块包含一个编码器模块对邻域图进行编码，得到特征点的邻域表征：Γi＝Encoder(Gi)其中，i为特征点的序号，随后，利