一种激光雷达和图像融合的塔吊环境目标检测方法及系统.pdf

(19)中华人民共和国国家知识产权局(12)发明专利申请(10)申请公布号CN114241298A(43)申请公布日2022.03.25(21)申请号202111388748.XG06T7/80(2017.01)(22)申请日2021.11.22G06T7/73(2017.01)G06T7/136(2017.01)(71)申请人腾晖科技建筑智能（深圳）有限公司G01S17/86(2020.01)地址518110广东省深圳市龙华区民治街G01S7/48(2006.01)道民乐社区星河WORLD二期D栋1106申请人广东光速智能设备有限公司(72)发明人安民洙葛晓东姜贺(74)专利代理机构广州三环专利商标代理有限公司44202代理人卢泽明(51)Int.Cl.G06V20/10(2022.01)G06V10/80(2022.01)G06V10/762(2022.01)G06V10/82(2022.01)权利要求书2页说明书7页附图3页(54)发明名称一种激光雷达和图像融合的塔吊环境目标检测方法及系统(57)摘要本发明提供一种激光雷达和图像融合的塔吊环境目标检测方法及系统，该方法包括构建相机和激光雷达的联合标定模型，对相机内参数、相机与激光雷达之间的外参数进行标定，采用目标检测网络对获取到的图像信息进行二维图像目标检测并得到二维目标物检测框，将三维点云数据投影到二维图像当中，对落入二维目标物检测框中的相应目标点云数据进行提取，并对目标点云数据进行聚类、精分割以及筛选，判断目标物与塔吊的距离是否为安全距离，当检测到目标物小于安全距离时输出报警信息。本发明的系统应用于上述的方法。应用本发明在施工工地的塔吊上对目标物进行实时检测，并且实现实时报警，从而能够降低人力消耗，可以有效提高塔吊使用的安全性。CN114241298ACN114241298A权利要求书1/2页1.一种激光雷达和图像融合的塔吊环境目标检测方法，其特征在于，包括以下步骤：构建相机和激光雷达的联合标定模型，对相机内参数、相机与激光雷达之间的外参数进行标定；获取塔吊所处周围环境下的三维点云数据和相机图像，采用目标检测网络对获取到的图像信息进行二维图像目标检测并得到二维目标物检测框；基于联合标定模型将三维点云数据投影到二维图像当中，对落入二维目标物检测框中的相应目标点云数据进行提取，并对目标点云数据进行聚类、精分割以及筛选；根据得到的目标类别判断目标物与塔吊的距离是否为安全距离，当检测到目标物小于安全距离时输出报警信息。2.根据权利要求1所述的方法，其特征在于，所述构建相机和激光雷达的联合标定模型，对相机内参数、相机与激光雷达之间的外参数进行标定，包括：提供一棋盘格标定板，分别将棋盘格标定板以多种不同的位置与姿态放置于相机镜头内，对每一张图片提取相对应的图像和激光点云的棋盘格角点坐标信息；其中，对于提取到的标定板图像信息采用ROS系统或MATLAB的自带的标定工具箱计算出相机的内参矩阵K。3.根据权利要求2所述的方法，其特征在于：对提取到的图像和激光点云的棋盘格角点坐标信息进行计算，得到相机与激光雷达之间的转换参数，表示为公式(1)：其中，R为旋转矩阵，t为平移向量。4.根据权利要求1所述的方法，其特征在于，所述获取塔吊所处周围环境下的三维点云数据和相机图像，包括：采用安装在塔吊上的安防监控球机与激光雷达获取周围施工工地的三维点云数据以及对应的二维图像。5.根据权利要求1所述的方法，其特征在于，所述采用目标检测网络对获取到的图像信息进行二维图像目标检测并得到二维目标物检测框，包括：对获取到的图像进行预处理；对预处理后的图像数据集进行训练，得到YOLOv5网络的训练模型；利用训练好的模型对实验图像进行检测，获取目标物的类别信息，以及目标物候选框在图像中的位置信息。6.根据权利要求3所述的方法，其特征在于，所述基于联合标定模型将三维点云数据投影到二维图像当中，对落入二维目标物检测框中的相应目标点云数据进行提取，包括：基于相机与激光雷达的联合标定结果，根据相机的内参矩阵K、相机与激光雷达之间的旋转矩阵R和平移向量t，将三维点云数据投影到二维图像当中；根据投影后的三维点云数据在二维图像中的位置提取出落入二维目标物检测框中的相应目标点云数据，其中，该点云数据在3D形式上为一个多面椎体。2CN114241298A权利要求书2/2页7.根据权利要求6所述的方法，其特征在于，所述对目标点云数据进行聚类、精分割以及筛选，包括：利用欧式聚类算法对目标点云数据的椎体内部目标物进行聚类；利用目标物体的宽度信息对应到目标点云数据的深度进行聚类点云的精分割；利用该目标点云数据在二维图像中的尺寸和在二维目标物检测框中的位置进行筛选。8.根据权利要求7所述的方法，其特征在于，所述利用目标物体的宽度信息对应到目