一种基于融合手工特征与深度特征的图像匹配方法.pdf

(19)国家知识产权局(12)发明专利申请(10)申请公布号CN115937552A(43)申请公布日2023.04.07(21)申请号202211296680.7G06V10/771(2022.01)(22)申请日2022.10.21G06N3/0464(2023.01)G06N3/096(2023.01)(71)申请人华南理工大学地址510640广东省广州市天河区五山路381号(72)发明人宋县锋施政邹毅王彦杰(74)专利代理机构广州粤高专利商标代理有限公司44102专利代理师黄月莹(51)Int.Cl.G06V10/75(2022.01)G06V10/46(2022.01)G06V10/82(2022.01)G06V10/44(2022.01)G06V10/80(2022.01)权利要求书3页说明书10页附图8页(54)发明名称一种基于融合手工特征与深度特征的图像匹配方法(57)摘要本发明公开了一种基于融合手工特征与深度特征的图像匹配方法，包括以下步骤：提取图像的手工特征生成手工特征描述符，对所得特征描述符进行L1归一化并对每一个元素求平方根；重新构建彩色图像的尺度金字塔，在相应金字塔层上提取局部图像块，并将图像块旋转至主方向；使用坐标注意力残差网络CAR‑HyNet模型对局部图像块提取深度特征，并生成深度特征描述符；训练CAR‑HyNet模型，并使用三元损失训练出最优模型；提取手工特征描述符与深度特征描述符双方对特征点的置信程度，将手工特征描述符与深度特征描述符进行决策级融合，生成新的特征点；筛选待配对图像中正确匹配的特征，得到包含两幅待配对图像中正确匹配的特征点对。CN115937552ACN115937552A权利要求书1/3页1.一种基于融合手工特征与深度特征的图像匹配方法，其特征在于，包括以下步骤：S1、提取图像的手工特征并生成手工特征描述符，对所得特征描述符应用Hellinger核进行L1归一化并对每一个元素求平方根；S2、对特征点进行筛选后，重新构建彩色图像的尺度金字塔，并围绕特征点在相应金字塔层上提取局部图像块，并将图像块旋转至主方向；S3、训练坐标注意力残差网络CAR‑HyNet模型，并使用三元损失训练出最优模型；S4、使用训练后的坐标注意力残差网络CAR‑HyNet模型对局部图像块提取深度特征，并生成深度特征描述符；S5、使用特征匹配算法，提取用于表征手工特征的手工特征描述符与用于表征深度特征的深度特征描述符双方对特征点的置信程度，将手工特征描述符与深度特征描述符在欧式空间中进行决策级融合，生成新的包含潜在匹配对的特征点；S6、筛选待配对图像中正确匹配的特征，去除误匹配点，得到包含两幅待配对图像中正确匹配的特征点对。2.根据权利要求1所述的基于融合手工特征与深度特征的图像匹配方法，其特征在于，步骤S1包括以下步骤：S101、使用SIFT算法构建尺度空间并检测极值点；S102、定位特征关键点并确定特征关键点方向，幅值m(x，y)与幅角θ(x，y)的计算公式如下，其中，L(·)表示高斯拉普拉斯算子；S103、使用SIFT算法生成128维的用于表征手工特征的手工特征描述符(请说明如何生成)；S104、使用Hellinger核对特征描述符进行L1归一化并对每一个元素求平方根，Hellinger核为：其中，n表示特征描述符的维度，x和y分别是两个具有欧氏距离规范的n维特征描述符，xi和yi分别表示第i维的值，H(x，y)表示x和y的Hellinger值。3.根据权利要求1所述的基于融合手工特征与深度特征的图像匹配方法，其特征在于，步骤S2包括以下步骤：S201、以检测到的特征点的强度进行降序排序；S202、使用中心点距离交并比非极大值抑制算法DIOU‑NMS计算每个特征点的分类置信度，剔除异常点，防止特征点过多拥挤在一个区域，公式如下：2CN115937552A权利要求书2/3页其中，si是分类置信度，∈为NMS阈值，M为最高强度的框，Bi为不同框的强度值，RDIOU(M，gtgtBi)为两个框中心点之间的距离，其中，b和b表示预测框B和真实框B的中心点，ρ(·)为欧几里德距离，c为覆盖这两个框的最小包围框的对角线长度，IoU表示预测框与真实框的交并比；S203、再次以经DIOU‑NMS筛选后的特征点的强度进行降序排序，按照强度从高到底保留指定数量的特征点，从而控制特征点数量；S204、根据SIFT构建尺度金字塔的方式，重建彩色图像的尺度金字塔；S205、根据特征点尺度信息选取所在金字塔层，以特征点为中心，以a*a像素为边长，裁剪出a*a的局部区域图像块，并缩放尺寸至b*bghyS206、根据特征点的角度信息，将图像块旋转至主方向。4.根据权利要求1所述的基于融合手工特征与深度特征的图像匹配方法，其特征在于，所