一种基于IMU的视觉障碍物检测虚警剔除方法.pdf

(19)中华人民共和国国家知识产权局(12)发明专利申请(10)申请公布号CN108230392A(43)申请公布日2018.06.29(21)申请号201810063615.7(22)申请日2018.01.23(71)申请人北京易智能科技有限公司地址100020北京市朝阳区阜通东大街1号院3号楼15层2单元121807室(72)发明人徐枫陈建武肖谋(74)专利代理机构成都弘毅天承知识产权代理有限公司51230代理人徐金琼刘东(51)Int.Cl.G06T7/73(2017.01)G06T7/12(2017.01)G06T7/55(2017.01)G06T7/80(2017.01)G06T5/00(2006.01)权利要求书2页说明书8页附图2页(54)发明名称一种基于IMU的视觉障碍物检测虚警剔除方法(57)摘要本发明公开了一种基于IMU的视觉障碍物检测虚警剔除方法，包括：首先，基于双目相机采集场景图像；然后，图像校正模块包括图像的畸变校正与极线校正；接着，将极线校正后的左右视图进行立体匹配，获取场景的视差图；对该视差图进行滤波处理，除去噪声获得稠密视差图，并依据视差值的不同分割为几幅视差图；对于上述获取的视差图分别进行轮廓检测，获取障碍物信息；基于上述的信息与相机的内外参数，计算场景中障碍物的大小、距离与位置等信息，完成虚警滤波。本发明提供了一种基于双目立体视觉检测的方法，基于轮廓检测确定障碍物目标，并对虚警进行剔除，保证了障碍物检测的准确性。CN108230392ACN108230392A权利要求书1/2页1.一种基于IMU的视觉障碍物检测虚警剔除方法，其特征在于，包括:步骤一：基于双目视觉系统采集场景图像，包括左视图和右视图；步骤二：对所述左视图和所述右视图进行图像校正；步骤三：将图像校正后的所述左视图和所述右视图进行立体匹配，获取稠密视差图，将所述稠密视差图根据距离进行分层，获得多幅对于不同位置场景的视差图和深度图；步骤四：基于所述深度图进行障碍物计算，得到第一障碍物信息；步骤五：基于所述左视图和相邻帧图像之间的运动估计信息，从所述第一障碍物信息中剔除虚警信息，得到第二障碍物信息。2.根据权利要求1所述基于IMU的视觉障碍物检测虚警剔除方法，其特征在于，在所述步骤一之前还包括离线标定，具体为：所述双目视觉系统可以采用双目相机，对左相机进行标定，获取左相机的内外参数，再对右相机进行标定，获取右相机的内外参数，最后，对双目相机进行标定，获取左右相机的旋转平移关系。3.根据权利要求1所述基于IMU的视觉障碍物检测虚警剔除方法，其特征在于，所述步骤二包括：对所述左视图和所述右视图进行畸变校正，假设没有畸变的基准图像为f(x，y)，具有较大几何畸变的图像为g(x′，y′)，通过两幅图像坐标系之间的集合畸变可以得到畸变校正后的图像：其中，n为多项式的系数，i和j表示像素点在图像中的具体位置，aij和bij为各项系数；对所述左视图和所述右视图进行极线校正，利用左右相机的内部参数矩阵和Bouguet极线校正方法，使所述左视图和所述右视图的对应极线平行。4.根据权利要求1所述基于IMU的视觉障碍物检测虚警剔除方法，其特征在于，所述稠密视图差具体获得过程为：采用基于CUDA加速模式的半全局立体匹配算法，对图像校正后的所述左视图和所述右视图进行视差计算，得到初步视差图，所述半全局立体匹配算法的步骤包括匹配代价计算、代价聚合和视差的左右一致性检验；将所述初步视差图进行滤波细化，得到稠密视差图。5.根据权利要求1所述基于IMU的视觉障碍物检测虚警剔除方法，其特征在于，所述步骤三包括：将所述稠密视差图进行视差分割，利用视差与深度之间的关系，以及视差值与距离之间的比例关系，得到多幅对于不同场景的所述视差图和所述深度图。6.根据权利要求1所述基于IMU的视觉障碍物检测虚警剔除方法，其特征在于，所述步骤四具体为：2CN108230392A权利要求书2/2页对所述深度图一一进行轮廓检测，得到不同层次上的障碍物轮廓，返回第一障碍信息{“Contour”：x，y，width，height}，其中x，y表示轮廓左上角的像素位置坐标，分别对应于所在的列与行；width和height分别表示轮廓的宽度与高度，其值的单位均为像素。7.根据权利要求1所述基于IMU的视觉障碍物检测虚警剔除方法，其特征在于，所述步骤五包括：采用Harris角点检测器进行特征点提取，采用KLT算法进行特征点跟踪，获取相邻帧图像间的放射矩阵与位移矩阵等运动信息；根据t-1时刻的障碍物信息来估计t时刻障碍物信息，判断t时刻的虚警区域，并剔除虚警信息。8.根据权利要求1所述基于IMU的视觉障碍物检测虚警剔除方法，其特征在于，在所述步骤五之后还包括：根据所述第二障碍物信息以及所述双目视觉系统的参