一种基于图卷积网络的多场景单目相机位姿回归方法.pdf

(19)中华人民共和国国家知识产权局(12)发明专利申请(10)申请公布号CN113724325A(43)申请公布日2021.11.30(21)申请号202110602225.4(22)申请日2021.05.31(71)申请人西安理工大学地址710048陕西省西安市碑林区金花南路5号(72)发明人孟海宁郑毅朱磊李维周荣(74)专利代理机构西安弘理专利事务所61214代理人韩玙(51)Int.Cl.G06T7/73(2017.01)G06K9/46(2006.01)G06K9/62(2006.01)G06N3/04(2006.01)G06N3/08(2006.01)权利要求书3页说明书8页附图4页(54)发明名称一种基于图卷积网络的多场景单目相机位姿回归方法(57)摘要本发明公开了一种基于图卷积网络的多场景单目相机位姿回归方法。首先训练一个多场景的特征提取网络用于位姿回归。然后借助图卷积，优化学习图像特征间的隐藏信息。使用训练完成的特征提取网络得到图像特征，将图像特征构建特征图谱，作为图卷积网络的输入，回归得到优化后的相机位姿。本发明提出的方法结合了多场景单模型训练方式、图像特征构图及图卷积网络，增强了模型泛化能力，提高了位姿回归性能，改善了多场景模型训练时的参数爆炸问题。CN113724325ACN113724325A权利要求书1/3页1.一种基于图卷积网络的多场景单目相机位姿回归方法，具体包括以下步骤：步骤1，对多场景数据集图像进行预处理操作，包括图像分辨率重调、随机裁剪、归一化、中心裁剪、转换成Tensor数据类型操作；步骤2，将步骤1预处理后的图像，输入特征提取网络，离线训练直至网络收敛，得到训练完成的特征提取网络，使用其提取图像特征；步骤3，使用步骤2中特征提取网络得到的图像特征，构建特征图谱，计算特征图谱对应的邻接矩阵、度矩阵、标签矩阵及特征矩阵；步骤4，将步骤3中计算得到的邻接矩阵、度矩阵、标签矩阵及特征矩阵，放入图卷积网络中，训练图卷积网络直至收敛；步骤5，采用位置误差和旋转误差作为本发明所提方法的位姿回归性能评价指标，设置多组对比实验来评估模型泛化能力，根据最终评估结果，决定模型是否重新迭代。2.根据权利要求1所述的一种基于图卷积网络的多场景单目相机位姿回归方法，其特征在于：所述步骤1中，多场景数据集包括室外数据集CambridgeLandmarks和室内数据集Microsoft7scenes。3.根据权利要求2所述的一种基于图卷积网络的多场景单目相机位姿回归方法，其特征在于：所述步骤1具体实现方式为：使用Torchvision官方库提供的transforms方法对图像数据集进行分辨率调整，将图像分辨率调整到256*256，对训练数据集采用随机裁剪方式调整图像进入特征提取网络之前的分辨率为224*224，对测试数据集使用中心裁剪方式，分辨率同样为224*224，此外将图像矩阵转换为Pytorch框架中的Tensor数据类型，并对图像矩阵进行归一化操作。4.根据权利要求1所述的一种基于图卷积网络的多场景单目相机位姿回归方法，特征在于：所述步骤2具体使用ImageNet分类数据集预训练的EfficientNet‑b0权重，进行网络权重初始化。将步骤1预处理后的图像，输入特征提取网络，定义特征提取网络的损失函数，配置网络的训练参数，离线训练直至网络收敛，得到训练完成的特征提取网络，使用其提取图像特征。5.根据权利要求4所述的一种基于图卷积网络的多场景单目相机位姿回归方法，特征在于：所述步骤2的具体步骤如下：步骤2.1，将步骤1中预处理后的图像，作为特征提取网络的输入，输入图像的尺寸调整为224*224，使用ImageNet预训练的EfficientNet‑b0权重对特征提取网络进行权重初始化；步骤2.2，将分辨率为224*224的带标注训练集图像，放入特征提取网络中进行训练；步骤2.3，将分辨率大小为224*224的带标注训练图像，输入到特征提取网络，将特征提取网络输出的特征矩阵，输入到全连接层，进行特征维度转变，然后经过场景分类分支，预测训练图像最可能的场景索引，根据预测的索引从权重数据库选择相应的权重，最终预测得到训练图像相机位姿。经损失函数的约束，网络参数优化调整，训练直至特征提取网络收敛；步骤2.4，使用步骤2.3中训练完成的特征提取网络，获取输入图像的图像特征，用于特征图谱的构建。6.根据权利要求5所述的一种基于图卷积网络的多场景单目相机位姿回归方法，其特2CN113724325A权利要求书2/3页征在于：所述步骤2.2特征提取网络的损失函数定义如下：Lx(Ic)＝||xn‑xpred||2(1)Lq(Ic)＝||qn‑qpred||2(2)Lσ(Ic)＝Lx(Ic)*exp(‑sx)+sx+Lq(Ic)*