一种基于遮挡补偿的立体空间信息融合的多目标跟踪方法.pdf

(19)中华人民共和国国家知识产权局(12)发明专利申请(10)申请公布号CN114119671A(43)申请公布日2022.03.01(21)申请号202111452024.7(22)申请日2021.12.01(71)申请人清华大学地址100084北京市海淀区清华园1号(72)发明人张新钰李骏王力秦闻远蔡凌翰李志伟(74)专利代理机构北京三聚阳光知识产权代理有限公司11250代理人张建纲(51)Int.Cl.G06T7/246(2017.01)G06T7/80(2017.01)G06V10/44(2022.01)权利要求书2页说明书7页附图2页(54)发明名称一种基于遮挡补偿的立体空间信息融合的多目标跟踪方法(57)摘要本发明公开了一种基于遮挡补偿的立体空间信息融合的多目标跟踪方法，所述方法包括：接收激光雷达采集的点云和相机采集的RGB图像；将点云数据输入三维检测器得到三维检测结果；将RGB图像和三维检测结果不断输入预先建立和训练好的端到端多目标跟踪网络，实时更新跟踪器，循环完成目标跟踪；所述端到端多目标跟踪网络，用于基于RGB图像和三维检测结果，并结合上一帧轨迹的运动特征和外观特征，分别建立运动关联矩阵和外观关联矩阵进行轨迹和检测的关联，并结合遮挡情况更新跟踪器实现目标跟踪。本发明的方法有效地融合了多源信息，并考虑到图像中目标容易存在遮挡，构建了遮挡网络进一步优化外观特征，提高了多目标跟踪算法的准确性。CN114119671ACN114119671A权利要求书1/2页1.一种基于遮挡补偿的立体空间信息融合的多目标跟踪方法，所述方法包括：步骤1)接收激光雷达采集的点云和相机采集的RGB图像；步骤2)将点云数据输入三维检测器得到三维检测结果；步骤3)将RGB图像和三维检测结果不断输入预先建立和训练好的端到端多目标跟踪网络，实时更新跟踪器，循环完成目标跟踪；所述端到端多目标跟踪网络，用于基于RGB图像和三维检测结果，并结合上一帧轨迹的运动特征和外观特征，分别建立运动关联矩阵和外观关联矩阵进行轨迹和检测的关联，并结合遮挡情况更新跟踪器实现目标跟踪。2.根据权利要求1所述的基于遮挡补偿的立体空间信息融合的多目标跟踪方法，其特征在于，所述步骤2)之前还包括对接收的点云和RGB图像进行标定和对齐。3.根据权利要求1或2所述的基于遮挡补偿的立体空间信息融合的多目标跟踪方法，其特征在于，所述步骤2)具体包括：将点云数据输入PointRCNN三维检测器，进行目标在三维空间中的位置检测，得到的三维检测结果包括：目标的类别、二维边界框的位置、目标中心的三维坐标系的位置、目标的长宽高、旋转角及检测得分。4.根据权利要求3所述的基于遮挡补偿的立体空间信息融合的多目标跟踪方法，其特征在于，所述端到端多目标跟踪网络使用CenterNet作为网络的基本骨架，并连接关联分支和遮挡分支，由关联分支进行轨迹和检测的关联，再结合遮挡分支计算的遮挡得分实时更新跟踪器，完成跟踪。5.根据权利要求4所述的基于遮挡补偿的立体空间信息融合的多目标跟踪方法，其特征在于，所述端到端多目标跟踪网络的处理过程具体包括：对RGB图像进行图像特征提取得到每个目标的运动特征和外观特征，并输入遮挡分支；根据三维检测结果以及运动特征和外观特征构建跟踪器；对于收到的第一帧数据检测设置为轨迹；对于非第一帧数据检测，结合上一帧轨迹的运动特征和外观特征分别建立运动关联矩阵和外观矩阵，并进行轨迹和检测的关联；根据遮挡分支计算的遮挡得分选择最优外观特征进而更新跟踪器。6.根据权利要求5所述的基于遮挡补偿的立体空间信息融合的多目标跟踪方法，其特征在于，所述对于非第一帧数据检测，结合上一帧轨迹的运动特征和外观特征分别建立运动关联矩阵和外观矩阵，并进行轨迹和检测的关联；具体包括：对于非第一帧数据检测，基于三维卡尔曼滤波器构建一个三维空间的运动模型，以预测对应目标下一时刻的状态，使用欧氏距离获得运动关联矩阵式中，di(x，y，z)为当前时刻t的检测，tj(x，y，z)为当前时刻t现存的轨迹，L2(·)表示欧氏距离运算；建立外观关联矩阵Apperancet；对运动关联矩阵使用匈牙利算法进行运动匹配，得到关联到的轨迹和检测，对于运动匹配未成功的剩余轨迹和检测使用外观关联矩阵Apperancet进行匹配；2CN114119671A权利要求书2/2页对于关联成功的检测，根据遮挡分支输出的遮挡得分选择最优外观特征，从而更新跟踪器，对于关联不成功的轨迹则该轨迹为新的轨迹。7.根据权利要求1所述的基于遮挡补偿的立体空间信息融合的多目标跟踪方法，所述方法还包括：使用标准的KITTI数据集对端到端多目标跟踪网络进行训练的步骤。8.一种基于遮挡补偿的立体空间信息融合的多目标跟踪系统，其特征在于，所述系统包括：端到端多目标跟踪网络、