基于多相机及激光雷达的目标融合方法及系统.pdf

(19)中华人民共和国国家知识产权局(12)发明专利申请(10)申请公布号CN114239706A(43)申请公布日2022.03.25(21)申请号202111490323.XG06V10/762(2022.01)(22)申请日2021.12.08(71)申请人山东新一代信息产业技术研究院有限公司地址250100山东省济南市高新区港兴三路北段未来创业广场3号楼11-12层(72)发明人李志芸高明王建华尹青山(74)专利代理机构济南信达专利事务所有限公司37100代理人潘悦梅(51)Int.Cl.G06K9/62(2022.01)G06T7/80(2017.01)G06V10/75(2022.01)G06V10/80(2022.01)权利要求书3页说明书7页附图1页(54)发明名称基于多相机及激光雷达的目标融合方法及系统(57)摘要本发明公开了基于多相机及激光雷达的目标融合方法及系统，属于人工智能技术领域，要解决的技术问题为如何解决多相机可视区域重叠时与激光雷达的目标融合匹配。包括如下步骤：对激光雷达以及每个相机进行标定，得到每个相机的内参信息以及每个相机与激光雷达的外参标定信息；分别对每个相机进行目标检测，得到每个相机的检测目标，并对激光雷达的点云数据进行聚类，得到激光雷达的聚类目标；基于坐标系转换关系将激光雷达点云数据投影至所述相机平面上并进行目标融合，对于未投影至所述相机平面上的激光雷达点云数据，将其投影至下一个相机平面上并进行目标融合。CN114239706ACN114239706A权利要求书1/3页1.基于多相机及激光雷达的目标融合方法，其特征在于包括如下步骤：对激光雷达以及每个相机进行标定，得到每个相机的内参信息以及每个相机与激光雷达的外参标定信息；分别对每个相机进行目标检测，得到每个相机的检测目标，并对激光雷达的点云数据进行聚类，得到激光雷达的聚类目标；融合节点订阅每个相机的内参信息、每个相机与激光雷达的外参标定信息、每个相机的检测目标以及激光雷达的聚类目标，通过相机的内参信息对对应相机的输出图像进行矫正，并通过相机与激光雷达的外参标定信息、得到所述相机的相机坐标系与激光雷达坐标系的坐标系转换关系；对于每个相机，基于坐标系转换关系将激光雷达点云数据投影至所述相机平面上并进行目标融合，对于未投影至所述相机平面上的激光雷达点云数据，将其投影至下一个相机平面上并进行目标融合，所述目标融合为将所述相机的检测目标与激光雷达的聚类目标进行匹配融合。2.根据权利要求1所述的基于多相机及激光雷达的目标融合方法，其特征在于对激光雷达以及每个相机进行标定，得到每个相机的内参矩阵以及每个相机与激光雷达的外参标定矩阵。3.根据权利要求1所述的基于多相机及激光雷达的目标融合方法，其特征在于分别对每个相机进行yolox目标检测，得到每个相机的检测目标；并对激光雷达的点云数据进行欧几里得聚类，得到激光雷达的聚类目标。4.根据权利要求1‑3任一项所述的基于多相机及激光雷达的目标融合方法，其特征在于对于每个相机，基于坐标系转换关系将激光雷达点云数据投影至所述相机平面上并进行目标融合，对于未投影至所述相机平面上的激光雷达点云数据，将其投影至下一个相机平面上并进行目标融合，包括如下步骤：L100、选取第一个相机作为当前相机，将激光雷达的点云数据映射在当前相机平面上，将投射在当前相机平面上的点云数据作为第一点云数据，将未落在当前相机平面上的点云作为第二点云数据；L200、依次遍历当前相机检测的所有目标框，对于每个目标框，遍历第一点云数据的聚类目标进行匹配分析，选取符合匹配条件的聚类目标进行目标融合；L300、选取第二个相机作为下一个相机，将激光雷达的点云数据映射在所述下一个相机平面上，将投射在所述下一个相机平面上的点云数据作为第一点云数据，将未落在所述下一个相机平面上的点云作为第二点云数据；L400、依次遍历所述下一个相机检测的所有目标框，对于每个目标框，遍历第一点云数据的聚类目标进行匹配分析，选取符合匹配条件的聚类目标进行目标融合；对于所有相机依次执行上述步骤L100‑L400，实现激光雷达点云数据与所有相机的进行匹配融合。5.根据权利要求4所述的基于多相机及激光雷达的目标融合方法，其特征在于遍历第一点云数据的聚类目标进行匹配分析，选取符合匹配条件的聚类目标进行目标融合，包括如下步骤：将第一点云数据的聚类目标映射到相机平面上，得到每个聚类目标的2D映射面积；2CN114239706A权利要求书2/3页将每个聚类目标的2D映射面积与相机中待融合的目标框进行逐一对比，判断每个聚类目标的2D映射面积与相机中待融合的目标框的重合面积是否大于阈值，如果存在多个检测目标满足条件，则取距离激光雷达最近的聚类目标与相机中待融合的检测目标判断为同一个物体进行信息融合。