一种基于鱼眼相机的障碍物检测方法及装置.pdf

(19)中华人民共和国国家知识产权局(12)发明专利申请(10)申请公布号CN111860270A(43)申请公布日2020.10.30(21)申请号202010667900.7(22)申请日2020.07.13(71)申请人辽宁石油化工大学地址113001辽宁省抚顺市望花区丹东路西段一号(72)发明人于红绯魏海平贾银山(74)专利代理机构沈阳易通专利事务所21116代理人王建男(51)Int.Cl.G06K9/00(2006.01)G06K9/62(2006.01)权利要求书5页说明书12页附图5页(54)发明名称一种基于鱼眼相机的障碍物检测方法及装置(57)摘要本发明涉及一种基于鱼眼相机的障碍物检测方法，该方法具体包括以下步骤：获取具有交叠视角的鱼眼图像A和鱼眼图像B，计算得到俯视图a和俯视图b，获取俯视图a与俯视图b所在相机坐标系的相对位置关系，对俯视图a进行子块划分，对俯视图a划分后的每一子块，结合俯视图b，求出h的值，判断俯视图a中的每一子块是否属于障碍物，对于所有判断为障碍物的子块进行聚类，标记，输出标记结果。本发明另外提供一种基于鱼眼相机的障碍物检测装置。本发明通过俯视图转换，解决了鱼眼相机成像形变问题，并保留了鱼眼相机的成像视角；本发明可适用于任意类型目标物的检测，不容易造成障碍物的漏检，检测效果好。CN111860270ACN111860270A权利要求书1/5页1.一种基于鱼眼相机的障碍物检测方法，具体包括以下步骤：S1、获取具有交叠视角的鱼眼图像A和鱼眼图像B；S2、计算得到鱼眼图像A和鱼眼图像B分别对应的俯视图a和俯视图b；S3、获取俯视图a与俯视图b所在相机坐标系的相对位置关系；S4、对俯视图a进行子块划分，将俯视图a划分为若干个子块区域；S5、对俯视图a划分后的每一子块，假设子块像素点在其所在的相机坐标系具有近似相同的真实高度h，结合俯视图b，求出h的值；S6、判断俯视图a中的每一子块是否属于障碍物；S7、对于所有判断为障碍物的子块，根据步骤S5计算得到的子块真实高度h，计算子块中心像素点对应的三维空间点坐标，再根据三维空间点坐标值，按照欧式距离，进行聚类；S8、聚类后，位于同一类的子块，确定为同一障碍物区域，在俯视图a中标记同一障碍物区域上的子块，或将俯视图a中的标记结果利用鱼眼相机成像公式换算后标记在鱼眼图像A中；S9、输出标记结果，作为最终的障碍物检测结果。2.如权利要求1所述的一种基于鱼眼相机的障碍物检测方法，其特征在于，所述步骤S1中的鱼眼图像A和鱼眼图像B来源于同一单目相机不同时刻拍摄或者来源于相邻相机同一时刻拍摄。3.如权利要求1所述的一种基于鱼眼相机的障碍物检测方法，其特征在于，所述步骤S2具体包括：采用转换俯视图方法对鱼眼相机拍摄的鱼眼图像进行形变处理，得到相应的俯视图，所述转换俯视图方法具体包括：以车身位于水平地面时，鱼眼相机安装于车身，车身几何中心位置在地面的投影点为原点，建立车身坐标系Ow_XwYwZw，其中，OwYw轴垂直指向地面，OwZw轴指向车头，OwXw轴指向车身侧面；以鱼眼相机光心为原点，光轴为Z’轴，建立鱼眼相机坐标系O_X’Y’Z’；利用离线标定好的相机外参数，对鱼眼相机坐标系进行校正，得到校正后的相机坐标系O_XYZ中，OY轴平行于车身坐标系的OwYw轴；在校正后的鱼眼相机坐标系O_XYZ中，对鱼眼图像像素点进行俯视图投影，得到地面俯视图，俯视图的图像平面坐标系为o_uv，校正过程通过反查表进行，即对俯视图中的每一个像素坐标(u,v)，计算其对应鱼眼图像中的像素点坐标(u’,v’)，并将鱼眼图像中坐标点(u’,v’)的像素亮度值，赋值给俯视图中的坐标点(u,v)；在鱼眼相机中，对于鱼眼相机坐标系中一空间点(Xc,Yc,Zc)，其在鱼眼相机中的成像点像素坐标为(u’,v’)，成像公式可以描述为，其中，2CN111860270A权利要求书2/5页3579r(θ)＝k1θ+k3θ+k5θ+k7θ+k9θ(3)k1,k3,k5,k7,k9,u0’,v0’,fx,fy为相机内参，可由离线内参标定算法得到，在算法实施过程中，为已知参数；俯视图坐标(u,v)到鱼眼图像坐标(u’,v’)的计算方法为，首先根据式(4)计算(xc,yc,zc)，式(4)中R为由相机的外参数构成的坐标系O_X’Y’Z’与坐标系O_XYZ之间的旋转矩阵，R可以通过离线外参标定方法获得，u0，v0，ax，ay为虚拟俯视图相机的内参数，可由用户根据实际需要自行设定，再利用公式(2)和(3)计算θ，r(θ)；最后，将计算好的θ，r(θ)代入公式(1)，求出鱼眼图像中坐标点(u’,v’)；对鱼眼图像A和鱼眼图像B，都进行上述俯视图转换，生成对应的俯视图a和俯视图b。4.如权利要求1所述的一种基于鱼眼相机的障