一种基于信息融合的目标检测及跟踪方法.pdf

(19)国家知识产权局(12)发明专利申请(10)申请公布号CN115995072A(43)申请公布日2023.04.21(21)申请号202211579837.7(51)Int.Cl.(22)申请日2022.12.09G06V20/58(2022.01)G06V10/764(2022.01)(71)申请人江苏杰瑞科技集团有限责任公司G06V10/77(2022.01)地址222061江苏省连云港市海州区圣湖G06V10/80(2022.01)路18号G06V10/82(2022.01)申请人中国船舶集团有限公司第七一六研G06T7/246(2017.01)究所G06T7/80(2017.01)中船重工信息科技有限公司G06N3/04(2023.01)(72)发明人梁乐李峰周睿胡明伟G06N3/08(2023.01)邓烨峰徐田凡欧国峰王宏亮刘汉鼎(74)专利代理机构南京理工大学专利中心32203专利代理师段宇轩权利要求书3页说明书5页附图2页(54)发明名称一种基于信息融合的目标检测及跟踪方法(57)摘要本发明公开了一种基于信息融合的目标检测及跟踪方法，包括：对多种传感器进行联合标定；多个主干网络分别对每个传感器采集的数据进行目标特征提取；将每个主干网络输出的目标特征进行融合并提取目标的边界框和标签；利用目标的边界框和标签对目标进行跟踪并对目标的状态进行预测及更新。本发明对多个激光雷达和多个摄像头进行信息融合，降低天气、光照等环境因素对检测结果的影响，减少检测盲区，提高系统的鲁棒性。CN115995072ACN115995072A权利要求书1/3页1.一种基于信息融合的目标检测及跟踪方法，其特征在于，包括步骤：步骤1：对多种传感器进行联合标定；步骤2：多个主干网络分别对每个传感器采集的数据进行目标特征提取；步骤3：将每个主干网络输出的目标特征进行融合并提取目标的边界框和标签；步骤4：利用目标的边界框和标签对目标进行跟踪并对目标的状态进行预测及更新。2.根据权利要求1所述的基于信息融合的目标检测及跟踪方法，其特征在于，所述多种传感器包括激光雷达、摄像头，所述的摄像头在车辆前方布置多个，每个摄像头的焦距不同，负责不同距离下的目标检测任务；激光雷达采集3D点云数据，摄像头采集2D图像信息，图像为RGB彩色图像，激光雷达和摄像头的分布在各个方向，确保检测无盲区。3.根据权利要求1所述的基于信息融合的目标检测及跟踪方法，其特征在于，所述多种传感器进行联合标定具体包括：通过外参标定和时间标定将所有的传感器数据同步到同一时空坐标上，所述的外参标定采集同一区域的数据进行像素对应得出具体的参数，时间标定则使用车载GNSS的时间作为标准时间，将与标准时间最近的点云数据和图像数据作为当前帧数据。4.根据权利要求2所述的基于信息融合的目标检测及跟踪方法，其特征在于，所述的目标特征包括目标的类型、中心点坐标、边界框的尺寸及方向，并用6面体和矩形框分别在点云和图像上将目标标注出来，最终在人机交互界面上标出目标的类型及相对距离。5.根据权利要求2所述的基于信息融合的目标检测及跟踪方法，其特征在于，所述主干网络包括激光雷达检测和图像检测2个独立的主干网络，激光雷达检测主干网络对激光雷达采集的点云数据进行目标特征提取，图像检测主干网络对摄像头采集的图像数据进行目标特征提取；所述激光雷达检测主干网络的架构为PointNet++，图像检测主干网络采用ResNet‑50；激光雷达检测主干网络对激光雷达采集的点云数据进行目标特征提取前，对激光雷达采集的点云数据进行预处理；图像检测主干网络直接将RGB图像输入神经网络中进行目标特征提取，利用特征金字塔进行融合，从图像中提取出的不同层次的目标特征，所述特征金字塔包括BU层、TD层和LC层，BU从图像中提取到不同层次的特征图，TD将高层次的语义ResNet‑50信息通过采样向下传递，使得低层的特征也具有丰富的语义信息，LC则将BU层和TD层提出的特征图逐级进行融合，得到不同层次的图像特征。6.根据权利要求2所述的基于信息融合的目标检测及跟踪方法，其特征在于，所述对激光雷达采集的点云数据进行预处理具体包括：所有激光雷达输出的点云数据通过坐标变换转换至主激光雷达的坐标系下；利用车辆的三维结构滤除掉自身反射的点云数据，车辆左右只保留小于设定阈值的点云数据；根据车辆自身的速度确定车辆前后保留的点云数据的距离，过滤掉小于设定阈值的点云数据，确保留出大于设定阈值的安全距离。7.根据权利要求2所述的基于信息融合的目标检测及跟踪方法，其特征在于，所述对激光雷达采集的点云数据进行目标特征提取具体为：利用点的特征距离和欧氏距离加权求和的方式对点云数据进行采样提取目标特征，减少采样点在背景及地面上的比例，增加采样2CN115995072A权利要求