一种实现增强现实的方法及其应用、计算设备.pdf

(19)中华人民共和国国家知识产权局(12)发明专利申请(10)申请公布号CN111161408A(43)申请公布日2020.05.15(21)申请号201911377582.4(22)申请日2019.12.27(71)申请人华南理工大学地址510640广东省广州市天河区五山路381号(72)发明人李彬张志敏田联房丁焕文(74)专利代理机构广州市华学知识产权代理有限公司44245代理人郑浦娟(51)Int.Cl.G06T17/00(2006.01)G06T19/00(2011.01)权利要求书3页说明书7页附图3页(54)发明名称一种实现增强现实的方法及其应用、计算设备(57)摘要本发明公开了一种实现增强现实的方法及其应用、计算设备，方法包括先获取被测目标的多帧视频图像和数字三维模型；选取模型在世界空间坐标系下的四个坐标点，在首帧视频图像或者首帧带有被测目标的视频图像中选取出四个对应的像素点，并提取出视频图像的特征点，生成改进特征点描述符向量，然后在该帧视频图像中渲染数字三维模型；再对剩余的多帧视频图像依次提取特征点，对当前视频图像和前一帧视频图像的特征点进行匹配跟踪；求解数字三维模型的位姿估计，并在剩余的多帧视频图像中依次渲染对应的位姿状态，最终得到实现增强现实的多帧视频图像。本发明可以实现高精确度、高稳定度和高效率的图像匹配，得到实现增强现实的图像。CN111161408ACN111161408A权利要求书1/3页1.一种实现增强现实的方法，其特征在于，步骤如下：S1、获取被测目标的多帧视频图像和被测目标的数字三维模型；S2、选取数字三维模型在世界空间坐标系下的四个坐标点，在首帧视频图像或者首帧带有被测目标的视频图像中选取出与四个坐标点对应的像素点，并对该帧视频图像进行特征点提取，生成改进特征点描述符向量，然后在该帧视频图像中渲染数字三维模型；S3、针对于剩余的多帧视频图像，依次进行特征点提取，并对当前视频图像和前一帧视频图像的特征点进行匹配跟踪；S4、求解数字三维模型的位姿估计，并在剩余的多帧视频图像中依次渲染对应的数字三维模型位姿状态，最终得到实现增强现实的多帧视频图像。2.根据权利要求1所述的实现增强现实的方法，其特征在于，提取的特征点为SURF特征点、SUSAN算子、FAST特征点、SIFT特征点或者ORB特征点。3.根据权利要求1所述的实现增强现实的方法，其特征在于，当特征点为SURF特征点时，对视频图像进行特征点提取的过程具体为：求解视频图像的Hessian行列式矩阵，根据Hessian行列式矩阵构建特征点的尺度空间，并基于该尺度空间，利用非极值抑制来提取出视频图像的特征点；生成改进特征点描述符向量的过程具体如下：在特征点6s领域内，统计所有点的水平haar小波特征和垂直haar小波特征总和，将小波特征总和最多的60度扇形方向作为主方向，并基于该主方向，利用haar小波响应生成特征点主描述符f0，s为特征点主描述符f0所在的尺度；在视频图像中，对于分布在特征点主描述符f0的上、下、左和右四个方向上且距离10s的四个像素点，基于主方向和利用haar小波响应生成对应的特征点次描述符f1、f2、f3和f4；由特征点主描述符和四个特征点次描述符构成改进特征点描述符，并将该特征点描述符作为特征点的特征向量v＝{f0,f1,f2,f3,f4}。4.根据权利要求3所述的实现增强现实的方法，其特征在于，利用opencv库中的cv::SurfFeatureDetector类中的detect函数提取出特征点，利用opencv库中的cv::SurfDescriptorExtractor类构建改进特征点描述符。5.根据权利要求1所述的实现增强现实的方法，其特征在于，在步骤S3中，采用改进FLANN算法对当前视频图像和前一帧视频图像的特征点进行匹配跟踪，过程如下：S31、在对第二帧视频图像进行特征点配对时，此时没有匹配先验信息，用原始的FLANN算法匹配第一帧和第二帧视频图像的特征点；S32、在前一帧视频图像fi-1的特征点已成功配对的情况下，对当前视频图像fi进行特征点配对时，此时含有前两帧视频图像fi-1和fi-2的匹配先验信息，根据匹配先验信息，利用RANSAC算法求出先验的配对点之间的位置映射关系，然后从映射区域搜索当前帧视频图像fi与前一帧视频图像fi-1特征点的配对点；S33、若步骤S32找不到配对的特征点，再参照步骤31采用原始的FLANN算法对当前帧视频图像fi进行全局特征点匹配。6.根据权利要求5所述的实现增强现实的方法，其特征在于，在步骤S31中，用原始的FLANN算法匹配第一帧和第二帧视频图像的特征点，过程如下：判断第一帧和第二帧视频图像中特征点的迹的符号是否相同，若否，则判定两帧视频2CN111161408A权利