基于双目视觉的避障技术方法.pdf

(19)中华人民共和国国家知识产权局(12)发明专利申请(10)申请公布号CN108269281A(43)申请公布日2018.07.10(21)申请号201611252687.3(22)申请日2016.12.30(71)申请人无锡顶视科技有限公司地址214125江苏省无锡市滨湖区锦溪路100号(72)发明人孟伟范柘(74)专利代理机构上海硕力知识产权代理事务所(普通合伙)31251代理人王法男(51)Int.Cl.G06T7/70(2017.01)G06T7/32(2017.01)权利要求书2页说明书5页附图3页(54)发明名称基于双目视觉的避障技术方法(57)摘要本发明通过利用双目相机实现对场地轮胎式龙门起重机前进方向场景的实时三维点云重建，通过对点云数据在不同维度上的投影统计和非极大值抑制，实现对噪声点云、地面点云和障碍物点云的准确分割；通过地面重定位有效的抑制场地轮胎式龙门起重机运行时的晃动对检测精度和鲁棒性的影响，有效提高障碍物的检测精度和障碍物的检测距离；通过对相机姿态学习和点云的个数和高度的检测实时监测避障系统的异常，对提高港口自动化和港口安全生产有重要意义。CN108269281ACN108269281A权利要求书1/2页1.基于双目视觉的避障技术方法，其特征是：第一步，利用双目相机进行对双目相机进行场地轮胎式龙门起重机前进方向场景的实时三维点云重构。第二步，相机姿态角学习及点云图从相机坐标系(Oc-XcYcZc)到地面坐标系(Ow-XwYwZw)的转换。第三步，分离障碍物点云、噪声点云、地面点云。对障碍物进行测宽和测高。利用宽高阈值进一步区分障碍物和异常噪声，确保远距离小障碍物的检测精度。第四步，利用相机的初始姿态角和地面点云的关系，实时监测双目相机的异常状态。2.如权利要求1所述基于双目视觉的避障技术方法，其特征在于，所述的相机姿态角学习及点云图从相机坐标系(Oc-XcYcZc)到地面坐标系(Ow-XwYwZw)的转换包括以下步骤：(2.1)、如图一所示，为双目相机安装示意图，(Oc-XcYcZc)是以左相机为原点，以相机光轴为Z轴，以成像平面的水平方向为X轴，成像平面的竖直方向为Y轴。(Ow-XwYwZw)是以左相机的正下方地面为原点，以大车前进方向为Z轴，高度方向为Y轴，宽度方向为X轴。利用视差图进行三维重构得到如图3所示点云；对该点云利用最小二乘进行直线拟合，然后计算该直线和OcXc的夹角ωr则我们近似求得相机的横滚角(2.2)、由ω3计算绕Zc轴的旋转矩阵则由旋转矩阵矫正后的点云P＝PsR(ω3)旋转后的点云对图像的每一样求重构后的每一样Y坐标均值利用最小而成得到的直线和Zc轴的夹角ω2也就是俯仰角；(2.3)、利用ω2计算绕Xc轴的旋转矩阵Pw＝PR(ω2)最终矫正后的地面点云及参考坐标系如图4所示：地面点云位于XwZw平面，Yw表示地面点云的高度；(2.4)、对所有Pw的y坐标求均值得到相机的安装高度H，则最终得到最后转换后的点云Pg＝Pw–H。3.如权利要求1所述的相机姿态角学习及点云图从相机坐标系(Oc-XcYcZc)到地面坐标系(Ow-XwYwZw)的转换包括以下步骤：(3.1)、有地面障碍物的点云图如图5所示对点云的Z坐标进行直方图统计，即对点云到RTG大车的距离进行直方图统计，得到如图6所示的直方图。对直方图寻找局部最大值Dmaxpress，直方图中的未填充条块。在局部最大值的位置，存在大量稠密点云，发现可疑障碍物；(3.2)、对该位置块进行提取，提取方法：搜索点云Pg中点的Z坐标在局部极值Dmaxpress附近的所有像素点得到如图7左边所示的白块；(3.3)、对上如图7左图所示白块在Pg点云中对应的点P如果P的Y坐标大于-30cm小于15cm，我们把这个点列为地面可疑点，最后得到白块对应的地面可疑点云Pgdubious。对该点云2CN108269281A权利要求书2/2页的Y坐标进行直方图统计得到统计图如图8所示,当图中有且仅有一个局部极值Pgdubiouspress(如图8白色长条所示)的时候我们认为此时获得了较好的地面重定位效果，此处的地面高Hi＝Pgdubiouspress；(3.4)、去除Pgdubious点云中Y坐标小于Hi的点云，得到最后的障碍物块如图7的右图所示；(3.5)、计算图7中右图所示白块的第R行像素对应点云的高度均值Yr，计算白块第C列的点云宽度均值Xc,利用最小二乘方法得到行值和高度均值的直线方程aR+bY+c＝0和dC+eX+f＝0；将行列的最大和最小值分别带入上述方程得到宽度最大最小值Xmax，Xmin；高度最大最小值Ymax，Ymin；则障碍物的宽度Wo＝Xmax-Xmin；高度Ho＝Ymax-Ymin；(3.6)、在远处利用较大的宽高度过滤阈值，确保不