双目立体视觉技术的实现及其进展.pdf

双目立体视觉技术的实现及其
进展

摘要：阐述了双目立体视觉技术在国内外应用的
最新动态及其优越性。指出双目体视技术的实现
分为国像获取、摄像机标定、特片提取、立体匹
配和三维重建几个步骤，详细分析了各个步骤的
技术特点、存在的问题和解决方案，并对双目体
视技术的发展做了展望。

关键词：双目立体视觉计算机视觉立体匹配
摄像机标定特征提取

双目立体视觉是计算机视觉的一个重要分支，
即由不同位置的两台或者一台摄像机（CCD）经
过移动或旋转拍摄同一幅场景，通过计算空间点
在两幅图像中的视差，获得该点的三维坐标值。
80年代美国麻省理工学院人工智能实验室的M
arr提出了一种视觉计算理论并应用在双眼匹配
上，使两张有视差的平面图产生在深度上的立体
图形，奠定了双目立体视觉发展理论基础。相比
其他类的体视方法，如透镜板三维成像、投影式
三维显示、全息照相术等，双目体视直接模拟人
类双眼处理景物的方式，可靠简便，在许多领域
均极具应用价值，如微操作系统的位姿检测与控

制、机器人导航与航测、三维测量学及虚拟现实
等。

1双目体视的技术特点

双目标视技术的实现可分为以下步骤：图像获
取、摄像机标定、特征提取、图像匹配和三维重
建，下面依次介绍各个步骤的实现方法和技术特
点。

1.1图像获取

双目体视的图像获取是由不同位置的两台或
者一台摄像机（CCD）经过移动或旋转拍摄同一
幅场景，获取立体图像对。其针孔模型如图1。
假定摄像机C1与C2的角距和内部参数都相等，
两摄像机的光轴互相平行，二维成像平面X1O1
Y1和X2O2Y2重合，P1与P2分别是空间点P
在C1与C2上的成像点。但一般情况下，针孔
模型两个摄像机的内部参数不可能完全相同，摄
像机安装时无法看到光轴和成像平面，故实际中
难以应用。

上海交大在理论上对会摄式双目体视系统的

上海大学通信与信息工程学院提出了基于神
经网络的双目立体视觉摄像机标定方法。首先对
摄像机进行线性标定，然后通过网络训练建立起
三维空间点位置补偿的多层前馈神经网络模型。
此方法对双目立体视觉摄像机的标定具有较好
的通用性，但是精确测量控制点的世界坐标和图
像坐标是一项严格的工作。因此神经网络中训练
样本集的获得非常困难。

1.3特征点提取

立体像对中需要提取的特征点应满足以下要
求：与传感器类型及抽取特征所用技术等相适
应；具有足够的鲁棒性和一致性。需要说明的是：
在进行特征点像的坐标提取前，需对获取的图像
进行预处理。因为在图像获取过程中，存在一系
列的噪声源，通过此处理可显著改进图像质量，
使图像中特征点更加突出。

1．4立体匹配

立体匹配是双目体视中最关系、困难的一步。
与普通的图像配准不同，立体像对之间的差异是

由摄像时观察点的不同引起的，而不是由其它如
景物本身的变化、运动所引起的。根据匹配基元
的不同，立体匹配可分为区域匹配、特征匹配和
相位匹配三大类。

区域匹配算法的实质是利用局部窗口之间灰度信息的相关程度，它在变化平

缓且细节丰富的地方可以达到较高的精度。但该算法的匹配窗大小难以选择，

通常借助于窗口形状技术来改善视差不连续处的匹配；其次是计算量大、速度

慢，采取由粗至精分级匹配策略能大大减少搜索空间的大小，与匹配窗大小无

关的互相关运算能显著提高运算速度。

特征匹配不直接依赖于灰度，具有较强的抗干
扰性，计算量小，速度快。但也同样存一些不足：
特征在图像中的稀疏性决定特征匹配只能得到
稀疏的视差场；特征的提取和定位过程直接影响
匹配结果的精确度。改善办法是将特征匹配的鲁
棒性和区域匹配的致密性充分结合，利用对高频
噪声不敏感的模型来提取和定位特征。

相位匹配是近二十年才发展起来的一类匹配
算法。相位作为匹配基元，本身反映信号的结构
信息，对图像的高频噪声有很好的抑制作用，适
于并行处理，能获得亚像素级精度的致密视差。

但存在相位奇点和相位卷绕的问题，需加入自适
应滤波器解决。

1．5三维重建

在得到空间任一点在两个图像中的对应坐标
和两摄像机参数矩阵的条件下，即可进行空间点
的重建。通过建立以该点的世界坐标为未知数的
4个线性方程，可以用最小二乘法求解得该点的
世界坐标。实际重建通常采用外极线结束法。空
间点、两摄像机的光心这三点组成的平面分别与
两个成像平面的交线称为该空间点在这两个成
像平面中的极线。一旦两摄像机的内外参数确
定，就可通过两个成像平面上的极线的约束关系
建立对应点之间的关系，并由此联立方程，求得
图像点的世界坐标值。对图像的全像素的三维重
建目前仅能针对某一具体目标，计算量大且效果
不明显。

2双目体视的最新应用

2．1国外研究动态

双目体视目前主要应用于四个领域：机器人导
航、微操作