基于跨源图像匹配的户外增强现实应用方法.pdf

(19)中华人民共和国国家知识产权局(12)发明专利申请(10)申请公布号CN111260794A(43)申请公布日2020.06.09(21)申请号202010034538.X(22)申请日2020.01.14(71)申请人厦门大学地址361000福建省厦门市思明南路422号(72)发明人王程刘伟权卞学胜沈雪仑赖柏锜李渊李永川贾宏(74)专利代理机构厦门创象知识产权代理有限公司35232代理人崔建锋(51)Int.Cl.G06T19/00(2011.01)G06T15/00(2011.01)G06T17/20(2006.01)权利要求书2页说明书9页附图5页(54)发明名称基于跨源图像匹配的户外增强现实应用方法(57)摘要本发明提出了一种基于跨源图像匹配的户外增强现实应用方法，该方法包括：获取相机图像和与相机图像对应匹配的渲染图像，并对相机图像和渲染图像进行处理，以获取成对匹配的局部相机图像块和局部渲染图像块；根据自动编码机和孪生网络构建深度学习模型，并对深度学习模型进行训练；基于训练好的深度学习模型对待匹配的局部相机图像块和局部渲染图像块的特征描述子进行提取，并根据提取到的特征描述子对待匹配的局部相机图像块和局部渲染图像块进行跨源图像匹配，以获得跨源图像匹配结果；根据跨源图像匹配结果获取跨源图像的对应关系，并根据对应关系计算虚实注册变换关系；根据虚实注册变换关系实现对户外增强现实的应用从而提高增强现实的效果。CN111260794ACN111260794A权利要求书1/2页1.一种基于跨源图像匹配的户外增强现实应用方法，其特征在于，包括以下步骤：获取相机图像和与所述相机图像对应匹配的渲染图像，并对所述相机图像和所述渲染图像进行处理，以获取成对匹配的局部相机图像块和局部渲染图像块；根据自动编码机和孪生网络构建深度学习模型，并根据成对匹配的局部相机图像块和局部渲染图像块对所述深度学习模型进行训练；基于训练好的深度学习模型对待匹配的局部相机图像块和局部渲染图像块的特征描述子进行提取，并根据提取到的特征描述子对所述待匹配的局部相机图像块和局部渲染图像块进行跨源图像匹配，以获得跨源图像匹配结果；根据所述跨源图像匹配结果获取跨源图像的对应关系，并根据所述对应关系计算虚实注册变换关系；根据所述虚实注册变换关系实现对户外增强现实的应用。2.如权利要求1所述的基于跨源图像匹配的户外增强现实应用方法，其特征在于，获取相机图像和与所述相机图像对应匹配的渲染图像，包括：获取相机图像；获取航拍影像，并采用SFM算法对所述航拍影像进行三维重建，以获得户外场景的三维图像点云；根据所述相机图像获取图像信息，并根据所述图像信息在所述三维图像点云中渲染出一张与所述相机图像对应匹配的渲染图像。3.如权利要求1所述的基于跨源图像匹配的户外增强现实应用方法，其特征在于，对所述相机图像和所述渲染图像进行处理，以获取成对匹配的局部相机图像块和局部渲染图像块，包括：获取所述相机图像和所述渲染图像的透视变换矩阵；采用LabelMe工具包对所述相机图像中的分割样本进行标记；构建分割网络，并根据标记好的相机图像对所述分割网络进行训练；基于训练好的分割网络对相机图像进行分割，以分割出所述相机图像的分割样本；采用尺度不变特征变换的检测器提取所述分割样本的所有关键点，并从所有关键点中选定多个关键点，以使选定的每个关键点之间的距离大于第一预设阈值，以及删除未选定的其他关键点；以选定的多个关键点为中心，按预设尺寸获取对应局部相机图像块，并根据所述透视变换矩阵将所述局部相机图像块映射到所述渲染图像上，以获取对应的局部渲染图像块。4.如权利要求1所述的基于跨源图像匹配的户外增强现实应用方法，其特征在于，所述深度学习模型包括：编码器、解码器和STN模块。5.如权利要求1所述的基于跨源图像匹配的户外增强现实应用方法，其特征在于，根据成对匹配的局部相机图像块和局部渲染图像块对所述深度学习模型进行训练时，还包括：根据深度学习模型训练需求，调整优化器和超参数，其中超参数包括学习步长、学习率和batch大小。6.如权利要求1所述的基于跨源图像匹配的户外增强现实应用方法，其特征在于，根据提取到的特征描述子对所述待匹配的局部相机图像块和局部渲染图像块进行跨源图像匹配，包括：2CN111260794A权利要求书2/2页采用最近邻检索方法以局部相机图像块的特征描述子为基准，获取满足第一预设条件的对应局部渲染图像块的特征描述子；根据检索出的匹配的局部相机图像块的特征描述子和局部渲染图像块的特征描述子，采用RANSAC算法滤除错误匹配，并对剩余成对匹配的局部相机图像块和局部渲染图像块的中心点进行计算，以获取局部相机图像块和局部渲染图像块的透视变换矩阵，并获得跨源图像匹配结果。7.如权利要求2所述的基于跨源图像匹配