基于视觉SLAM的文物展示增强现实方法.pdf

(19)国家知识产权局(12)发明专利申请(10)申请公布号CN115346054A(43)申请公布日2022.11.15(21)申请号202210885111.XG06T19/20(2011.01)(22)申请日2022.07.26G06T15/00(2011.01)G06F3/01(2006.01)(71)申请人重庆科技学院地址401331重庆市沙坪坝区大学城东路20号(72)发明人蒋鸿伟刘子樊傅普杰何龙吴锦洲简夜明冯小渝吕文琪向毅雷亮(74)专利代理机构天津朗熠知识产权代理事务所(普通合伙)12259专利代理师刘杨(51)Int.Cl.G06V10/44(2022.01)G06V10/54(2022.01)G06V10/75(2022.01)权利要求书1页说明书7页附图2页(54)发明名称基于视觉SLAM的文物展示增强现实方法(57)摘要本发明公开了一种基于视觉SLAM的文物展示增强现实方法，它包括如下步骤：第一步，提取点特征；第二步，提取线特征；第三步，点线综合的相机位姿估计，采用两个并行的线程分别对每一个输入的视频帧提取点特征与线特征，并行地进行特征匹配；第四步，点云平面拟合，采用RANSAC算法进行平面拟合，然后采用奇异值分解算法计算出该平面的中心点与法向量，最后用点法式来表达这个平面；第五步，虚拟模型渲染。本发明可以对低纹理文物特征点不明显，还原难度较大的文物进行特征提取。CN115346054ACN115346054A权利要求书1/1页1.一种基于视觉SLAM的文物展示增强现实方法，其特征在于，它包括如下步骤：第一步，提取点特征，包括第一阶段，角点提取，对视频帧构造八层图像金字塔，在金字塔的每一层提取FAST角点；第二阶段，计算描述子，首先计算角点邻域的主导方向，然后将邻域划分为三级网格，在主导方向上计算每个网格的梯度与灰度值，构成三位字符串，最后在每一级网格上分别计算描述子，对任一对网格的字符串进行二进制测试，将结果相连，选取其中最具有价值的256位作为最终描述子；第三阶段，特征匹配，首先根据上一帧的特征点位置与连续帧间的相机运动模型确定当前帧的匹配点搜索范围，然后在该范围内寻找上一帧特征点对应的匹配点，最后执行基于直方图的角点方向一致性检测对其筛选；第二步，提取线特征，采用LSD线段检测算法提取线特征，首先计算图像中像素点的梯度值与梯度方向，然后合并梯度方向相似的像素形成线段像素区域作为候选直线段，最后计算该像素区域最小外接矩形的像素个数与方向来进行筛选；第三步，点线综合的相机位姿估计，采用两个并行的线程分别对每一个输入的视频帧提取点特征与线特征，并行地进行特征匹配；第四步，点云平面拟合，采用RANSAC算法进行平面拟合，然后采用奇异值分解算法计算出该平面的中心点与法向量，最后用点法式来表达这个平面；第五步，虚拟模型渲染，通过点云平面拟合得到平面的中心点与法向量之后，将虚拟模型渲染至平面之上，实现增强现实。2.如权利要求1所述的基于视觉SLAM的文物展示增强现实方法，其特征在于，第三步中，具体步骤如下：校正线的投影端点，计算线的重投影误差，将线的重投影误差引入PnP算法。3.如权利要求1所述的基于视觉SLAM的文物展示增强现实方法，其特征在于，基于RANSAC算法的平面拟合的具体步骤为：S1、在点云集合中随机抽取三个不在一条直线上的点xi,yi,zt，三点确定一个平面)，作为初始内点集，然后计算这三个点对应的平面方程ax+by+z＝d；S2、计算地图中每一个点到该平面的距离式di＝|axi+byi+zi‑d|(i＝1,2,...,n)设定阈值t，若式d1＜t，则该点为内点，加入内点集；S3、重复上述过程，通过尺次迭代选取数量最多的内点集，若该集合点云数量超过预设标准值N，则用该点集拟合出最佳平面。2CN115346054A说明书1/7页基于视觉SLAM的文物展示增强现实方法技术领域[0001]本发明涉及一种基于视觉SLAM的文物展示增强现实方法。背景技术[0002]增强现实技术最早需要佩戴头戴式显示器，起源于IvanSutherland于1965年发表的第一个头盔式虚拟现实系统。而后哥伦比亚大学的SteveFeiner等人设计了第一个头戴式室外移动增强现实游览机器：TouringMachine。到了2002年，奈良先端科学技术学院的加藤弘一等人开发了第一个AR开源框架：ARToolKit，奠定了基于模板识别的增强现实系统的基础，使硬件设备要求大大降低。而后随着特征点算法的逐渐发展，如SIFT，SURF，ORB，增强现实技术逐渐演变为基于二维图像特征匹配的方法，使其可以在任何蕴含丰富特征点的图像平面上叠加虚拟信息。近年来，国内外研究机构一直在进行增强现实技术的探索，如微软公司推出的增强现实头戴式显示器Holo