一种基于多焦距相机与激光雷达融合的三维目标检测方法.pdf

(19)中华人民共和国国家知识产权局(12)发明专利申请(10)申请公布号CN114114312A(43)申请公布日2022.03.01(21)申请号202111403257.8G01S7/48(2006.01)(22)申请日2021.11.24(71)申请人重庆邮电大学地址400065重庆市南岸区南山街道崇文路2号(72)发明人冯明驰宋贵林邓程木梁晓雄李成南王鑫刘景林孙博望岑明(74)专利代理机构重庆市恒信知识产权代理有限公司50102代理人刘小红(51)Int.Cl.G01S17/86(2020.01)G01S17/894(2020.01)G01S17/931(2020.01)权利要求书3页说明书7页附图2页(54)发明名称一种基于多焦距相机与激光雷达融合的三维目标检测方法(57)摘要本发明请求保护一种基于多焦距相机与激光雷达融合的三维目标检测方法，属于自动驾驶、三维目标检测领域。包括以下步骤：1.多焦距相机由长短焦相机组成，对多焦距相机和激光雷达数据时空同步处理。2.利用分割网络分别对多焦距相机图像语义分割，利用分割结果生成视锥体，将激光雷达点云分别投影到长焦、短焦图像形成的视锥进行三维目标检测。3.利用多尺度图像金字塔实现长短焦图像特征点的精确匹配，通过特征匹配建立长短焦分割图像目标间的联系，通过这种联系对三维目标的数据关联和数据融合。本发明能应用在自动驾驶或辅助驾驶车辆上，对车辆周围进行环境感知，具有分类准确，定位精度高的特点，特别是对远距离目标检测精度有提高。CN114114312ACN114114312A权利要求书1/3页1.一种基于多焦距相机与激光雷达融合的三维目标检测方法，其特征在于，包括以下步骤：采用长短焦相机采集车辆前方的图像，对车辆前方的环境进行感知，激光雷达感知车辆周围的环境，对多焦距相机和激光雷达联合标定，通过时空同步算法，对图像数据和激光雷达采集的点云数据进行时空同步；用神经网络分别对长短焦图像语义分割，利用分割结果生成长短焦图像的视锥，将点云分别投影到长短焦相机分割图像形成的视锥，视锥中的点云作为目标点云，求得目标点云的质心，设定阈值，质心深度小于阈值的直接输入点云网络预测目标三维信息，质心深度大于阈值的对点云预处理后预测目标的三维信息；利用多尺度图像金字塔实现长短焦图像特征点的匹配，通过特征匹配建立长短焦分割图像目标间的联系，通过这种联系对三维目标的数据关联和数据融合。2.根据权利要求1所述的一种基于多焦距相机与激光雷达融合的三维目标检测方法，其特征在于，车辆对周围环境感知，获取车辆周围的车辆的大小、位置和姿态，具体为目标车辆的相对位置，车辆的长、宽、高和偏航角。3.根据权利要求1所述的一种基于多焦距相机与激光雷达融合的三维目标检测方法，其特征在于，所述采用长短焦相机采集车辆前方的图像，对车辆前方的环境进行感知，激光雷达感知车辆周围的环境，具体包括：多焦距相机由焦距不同的两个相机组成，用于观测车辆的正前方，多焦距相机水平放置，短焦相机位于左边，长焦相机位于右方，距离较近，有共同视野，同时采集图像；激光雷达置于车顶，感知车辆四周的环境，选择激光雷达的扫描到车辆正前方的时间戳上的多焦距相机采集的图像数据，两传感器的数据采集间隔小于0.01秒。4.根据权利要求3所述的一种基于多焦距相机与激光雷达融合的三维目标检测方法，其特征在于，所述对多焦距相机和激光雷达联合标定，通过时空同步算法，对图像数据和激光雷达采集的点云数据进行时空同步，具体包括：建立世界坐标系，标定长短焦相机，获得各自得内参和外参，得世界坐标系与短焦相机的旋转和平移矩阵为R1、T1，与长焦相机的旋转和平移矩阵R2、T2；世界坐标中一点P在世界坐标系、长焦相机坐标系、短焦相机坐标系下的非齐次线性坐标为则：联立两个等式可以得到R12、T12为长短焦相机间的旋转平移矩阵，短焦相机与激光雷达间的旋转平移矩阵R3、T3，可得长焦相机与激光雷达间的旋转平移矩阵R23、T23。5.根据权利要求4所述的一种基于多焦距相机与激光雷达融合的三维目标检测方法，其特征在于，所述通过时空同步算法，对图像数据和激光雷达采集的点云数据进行时空同步，具体包括：2CN114114312A权利要求书2/3页选择激光雷达与多焦距相机采集的数据中时间戳最接近的数据，得到时间同步的点云数据和多焦距相机图像数据；根据激光雷达与长短焦像机的旋转平移矩阵和长短焦相机的内参矩阵，结合时间同步的点云数据和多焦距相机数据，可得点云中任何一点在图像中的像素坐标。实现了空间同步，完成图像数据与点云数据时空同步。6.根据权利要求5所述的一种基于多焦距相机与激光雷达融合的三维目标检测方法，其特征在于，所述用神经网络分别对长短焦图像语义分割，利用分割结果生成长短焦图像的视锥，具体包括：使用一语义分割网