一种基于鲁棒特征跟踪的视觉定位方法.pdf

(19)中华人民共和国国家知识产权局*CN103345751A*(12)发明专利申请(10)申请公布号(10)申请公布号CNCN103345751103345751A(43)申请公布日2013.10.09(21)申请号201310274696.2(22)申请日2013.07.02(71)申请人北京邮电大学地址100876北京市海淀区西土城路10号(72)发明人叶平柳青孙汉旭吉雪窦仁银(51)Int.Cl.G06T7/00(2006.01)权权利要求书1页利要求书1页说明书6页说明书6页附图3页附图3页(54)发明名称一种基于鲁棒特征跟踪的视觉定位方法(57)摘要本发明公开了一种基于图像处理及机器视觉的鲁棒特征跟踪与立体视觉定位技术。该技术可以在相机晃动以及室外光照条件下，融合惯性信息和视觉信息，实现可靠的立体视觉定位。通过双目摄像机实时采集图像，同时利用惯性测量单元采集相机旋转信息。利用特征提取算法提取图像中的特征点，并对左右图像中的特征点进行立体匹配。结合惯性信息，通过惯性融合KLT算法跟踪特征点，提高特征跟踪可靠性。利用双视几何原理恢复特征点的三维信息。使用高斯牛顿迭代的方法由特征点位置信息求得相机运动参数。使用RANSIC算法进一步提高视觉定位准确度。整个过程不断迭代，实现相机姿态和位置的实时计算。CN103345751ACN103457ACN103345751A权利要求书1/1页1.一种基于鲁棒特征跟踪的视觉定位方法，其特征在于，包括以下步骤：步骤一：对双目摄像机进行标定。步骤二：将相机与惯性测量单元固连，标定相机坐标系与惯性测量单元坐标系之间的旋转变换矩阵。步骤三：开启相机，进行左右图像与相机旋转信息的同步采集。步骤四：如果当前图像是第一帧或当前特征点总数小于设定阈值,用sobel算子提取图像中的兴趣点，并用SIFT描述符对兴趣点进行描述,在左右图像之间进行立体匹配，得到特征点匹配对。如果读入的图像不是第一帧，则根据相机旋转变化量计算出特征点在当前帧中的初始预测位置，使用惯性融合KLT算法对特征点进行跟踪，得出特征点在当前帧中的准确位置。步骤五：通过双目立体视觉原理计算特征点对应的三维坐标位置。步骤六：使用RANSIC算法进行迭代计算，每次迭代时利用求得的旋转矩阵R和平移矩阵T计算满足该变换的特征点数目，求取包含局内点最多的一组结果，并利用该组中所有局内点求解出精确的R和T。步骤七：将步骤六求得的结果进行累乘，得到相机在当前时刻相对于初始时刻的位姿变换矩阵。2.权利要求1所述的一种基于鲁棒特征跟踪的视觉定位方法，其特征在于，所述步骤二中将相机与惯性测量单元固连，利用惯性测量单元采集相机的旋转信息，用于辅助视觉定位。3.权利要求1所述的一种基于鲁棒特征跟踪的视觉定位方法，其特征在于，所述步骤四中采用惯性融合KTL算法对特征点进行跟踪，结合系统的惯性信息，对运动参数迭代计算的初始值进行了预测，大大增加了迭代收敛的概率，提升了在相机晃动情况下的特征跟踪性能。此外，使用仿射光度变换模型作为运动模型，加入了对光照和运动变换的补偿，减少模板更新次数和计算量，兼顾了跟踪性能和运行效率。步骤4-1选取新的特征点并更新模板T。步骤4-2根据步骤4-1中求得的新模板计算海森矩阵。步骤4-3计算相机旋转变化量。步骤4-4利用4-3求得的相机旋转变化量计算单应矩阵H，计算运动参数的迭代初始值。步骤4-5利用高斯-牛顿迭代法计算运动参数变化量，最终更新运动参数。4.权利要求1所述的一种基于鲁棒特征跟踪的视觉定位方法，其特征在于，使用RANSIC算法，每次先选取三个特征点匹配对计算位姿矩阵[RT]，按照计算出的[RT]对所有特征点进行投影，统计局内点数目，经过多次迭代，以局内点数目最多的一组特征点匹配对作为输入，计算得到精确的R和T。2CN103345751A说明书1/6页一种基于鲁棒特征跟踪的视觉定位方法技术领域：[0001]本发明是基于图像处理及机器视觉相关领域的鲁棒特征跟踪与立体视觉定位技术。该技术可以在相机晃动以及室外光照条件下，以惯性信息和视觉信息作为输入，实现可靠的立体视觉定位。背景技术：[0002]在计算机视觉领域，双目立体视觉模拟人类双眼处理景物的方式对空间点进行定位，可以很好地解决非线性误差，是其中一个重要研究方向并且具有广泛的适用性。在移动机器人自主执行任务时进行自定位以及盲人辅助出行定位系统中均可采用双目立体视觉进行定位。在这些系统中，定位的精度及速度直接影响着整个系统的性能和效率。但现有的视觉定位方法存在一定缺陷：[0003]1）当相机在采集图像过程中发生剧烈晃动或旋转，无法在平稳状态下工作时，例如盲人辅助出行系统中相机搭载在使用者身上，随着使用者的行走会发生晃动；搭载有定位系统的自主机器人在崎岖环境中作业时，相机也会发