双目立体视觉技术的实现.docx

双目立体视觉技术的实现双目立体视觉是计算机视觉的一个重要分支即由不同位置的两台或者一台摄像机(CCD)经过移动或旋转拍摄同一幅场景通过计算空间点在两幅国像中的视差获得该点的三维坐标值。80年代美国麻省理工学院人工智能实验室的Marr提出了一种视觉计算理论并应用在双睛匹配上使两张有视差的平面图产生在深度的立体图形奠定了双目立体视觉发展理论基础。相比其他类的体视方法如透镜板三维成像、投影式三维显示、全息照相术等双目本视直接模拟人类双眼处理景物的方式可靠简便在许多领域均极具应用价值如微操作系统的位姿检测与控制、机器人导航与航测、三维测量学及虚拟现实等。1双目体视的技术特点双目标视技术的实现可分为以下步骤:图像获取、摄像机标定、特征提取、图像匹配和三维重建下面依次介绍各个步骤的实现方法和技术特点。1.1图像获取双目体视的图像获取是由不同位置的两台或者一台摄像机(CCD)经过移动或旋转拍摄同一幅场景获取立体图像对。其针孔模型如图1。假定摄像机C1与C2的角距和内部参数都相等两摄像机的光轴互相平行二维成像平面X1O1Y1和X2O2Y2重合P1与P2分别是空间点P在C1与C2上的成像点。但一般情况下针孔模型两个摄像机的内部参数不可能完成相同摄像机安装时无法看到光轴和成像平面故实际中难以应用。上海交大在理论上对会摄式双目体视系统的测量精度与系统结构参数之间的关系作了详尽分析并通过试验指出对某一特定点进行三角测量。该点测量误差与两CCD光轴夹角是一复杂的函数关系;若两摄像头光轴夹角一定则被测坐标与摄像头坐标系之间距离越大测量得到点距离的误差就越大。在满足测量范围的前提下应选择两CCD之间夹角在50℃~80℃之间。1.2摄像机的标定对双目体视而言CCD摄像机、数码相机是利用计算机技术对物理世界进行重建前的基本测量工具对它们的标定是实现立体视觉基本而又关键的一步。通常先采用单摄像机的标定方法分别得到两个摄像机的内、外参数;再通过同一世界坐标中的一组定标点来建立两个摄像机之间的位置关系。目前常用的单摄像机标定方法主要有:(1)摄影测量学的传统设备标定法。利用至少17个参数描述摄像机与三维物体空间的结束关系计算量非常大。(2)直接线性变换性。涉及的参数少、便于计算。(3)透视变换短阵法。从透视变换的角度来建立摄像机的成像模型无需初始值可进行实时计算。(4)相机标定的两步法。首先采用透视短阵变换的方法求解线性系统的摄像机参数再以求得的参数为初始值考虑畸变因素利用最优化方法求得非线性解标定精度较高。(5)双平面标定法。在双摄像机标定中需要精确的外部参数。由于结构配置很难准确两个摄像机的距离和视角受到限制一般都需要至少6个以上(建议取10个以上)的已知世界坐标点才能得到比较满意的参数矩阵所以实际测量过程不但复杂而且效果并不一定理想大大地限制了其应用范围。此外双摄像机标定还需考虑镜头的非线性校正、测量范围和精度的问题目前户外的应用还有少。上海大学通信与信息工程学院提出了基于神经网络的双目立体视觉摄像机标定方法。首先对摄像机进行线性标定然后通过网络训练建立起三维空间点位置补偿的多层前馈神经网络模型。此方法对双目立体视觉摄像机的标定具有较好的通用性但是精确测量控制点的世界坐标和图像坐标是一项严格的工作。因此神经网络中训练样本集的获得非常困难。1.3特征点提取立体像对中需要撮的特征点应满足以下要求:与传感器类型及抽取特征所用技术等相适应;具有足够的鲁棒性和一致性。需要说明的是:在进行特征点像的坐标提取前需对获取的图像进行预处理。因为在图像获取过程中存在一系列的噪声源通过此处理可显着改进图像质量使图像中特征点更加突出。1.4立体匹配立体匹配是双目体视中最关系、困难的一步。与普通的图像配准不同立体像对之间的差异是由摄像时观察点的不同引起的而不是由其它如景物本身的变化、运动所引起的。根据匹配基元的不同立体匹配可分为区域匹配、特征匹配和相位匹配三大类。区域匹配算法的实质是利用局部窗口之间灰度信息的相关程度它在变化平缓且细节丰富的地方可以达到较高的精度。但该算法的匹配窗大小难以选择通常借助于窗口形状技术来改善视差不连续处的匹配;其次是计算量大、速度慢采取由粗至精分级匹配策略能大大减少搜索空间的大小与匹配窗大小无关的互相关运算能显着提高运算速度。特片匹配不直接依赖于灰度具有较强的抗干扰性计算量小速度快。但也同样存一些不足:特征在图像中的稀疏性决定特征匹配只能得到稀疏的视差场;特征的撮和定位过程直接影响匹配结果的精确度。改善办法是将特征匹配的鲁