一种基于图像和点云实例匹配的三维目标检测算法.pdf

(19)中华人民共和国国家知识产权局(12)发明专利申请(10)申请公布号CN113689393A(43)申请公布日2021.11.23(21)申请号202110957304.7(22)申请日2021.08.19(71)申请人东南大学地址211102江苏省南京市江宁区东南大学路2号(72)发明人耿可可李尚杰殷国栋庄伟超祝小元(74)专利代理机构北京德崇智捷知识产权代理有限公司11467代理人郝雅洁(51)Int.Cl.G06T7/00(2017.01)G06T7/11(2017.01)G06K9/62(2006.01)权利要求书1页说明书4页附图1页(54)发明名称一种基于图像和点云实例匹配的三维目标检测算法(57)摘要本发明公开了一种基于图像和点云实例匹配的三维目标检测算法，融合图像中丰富的语义信息与点云中准确的位置信息，实现不同类型传感器数据的优势互补，算法具体包括以下步骤：利用实时实例分割网络得到图像中目标的类别和实例掩膜；利用透视投影变换将点云投影至图像平面；对每个实例掩膜内的点云进行聚类从而获得目标点云；拟合目标点云的三维轮廓并获取目标的相关参数。本发明通过融合图像中丰富的语义信息与点云中准确的位置信息，实现不同类型传感器数据的优势互补，输出结果为感兴趣目标的三维检测结果。能够在保证精度的前提下提高运行效率，适用场景广泛且具备较好的鲁棒性。CN113689393ACN113689393A权利要求书1/1页1.一种基于图像和点云实例匹配的三维目标检测算法，其特征在于，包括以下步骤：S0、在时间和空间上同步采集图像与点云数据；S1、利用实时实例分割网络处理图像：将图像输入到实时实例分割网络中，对输入图像中每个目标的类别和实例掩膜进行预测，并对应给出每个目标的置信度；S2、利用透视投影变换处理点云数据：将点云数据输入透视投影变换中，将输入的点云投影至图像平面，使得图像数据和点云数据的维度保持一致；S3、将步骤S1、步骤S2的结果进行融合：将图像和点云在同一时间下、针对同一感知空间采集的数据进行融合，利用图像中的实例掩膜作为限制边界，对每个实例掩膜内的点云进行聚类，从透视投影后的点云中提取属于目标的点云，即目标点云；S4、拟合所述目标点云的三维轮廓并获取目标的相关参数。2.根据权利要求1所述的算法，其特征在于，步骤S2具体包括：对点云进行区域裁剪，以图像的视场角作为约束对点云进行裁剪，保留图像视场内部的点云，使图像和点云的有效感知范围相同，同时舍弃点云中距离较远的点，以提高运算效率；然后以透视投影的方式投影至图像平面，使得图像数据和点云数据的维度保持一致。3.根据权利要求1所述的算法，其特征在于，步骤S3中，首先，采用最邻近时间戳法对步骤的S1的结果即图像中的目标类别和实例掩膜与步骤S2的结果即透视投影后的点云进行同步，然后再利用图像中的实例掩膜作为限制边界，对每个实例掩膜内的点云进行聚类。4.根据权利要求1所述的算法，其特征在于，步骤S3中，使用基于密度的聚类算法，将高于容许密度的点云集合划分为簇，选取最大点云簇作为目标点云，从而完成实例匹配。5.根据权利要求1所述的算法，其特征在于，步骤S4中，在提取目标点云之后，采用三维盒子模型对目标点云进行拟合，以参数化形式表示融合检测的结果，参数化表示的内容包括目标的中心位置、目标的三维尺寸以及目标的方向角。6.根据权利要求1所述的算法，其特征在于，步骤S1中，从实例分割网络预测的所有结果中按以下两个条件进行筛选：第一，检测结果的置信度应高于置信度阈值，以避免错误检测；第二，检测结果按置信度降序进行排序，并且数量不应超过数量阈值，保证数据融合过程具有较高的运行效率。2CN113689393A说明书1/4页一种基于图像和点云实例匹配的三维目标检测算法技术领域[0001]本发明涉及目标检测技术领域，特别涉及一种基于图像和点云实例匹配的三维目标检测算法。背景技术[0002]深度学习相关方法是解决目标检测问题的主要手段。初期被提出的目标检测网络，如FasterR‑CNN、YOLO、SSD等，用矩形框在图像上表示目标的位置。这种表示方法并不准确，因为矩形框内除了包括目标还包括大量的背景信息。在此基础上，一些实例分割网络被提出，如MaskR‑CNN、YOLACT等，以像素级的实例掩膜表示目标的位置。实例掩膜内几乎不包含背景信息，故表达准确性得到大幅提高。然而，不论用矩形框表示还是用实例掩膜表示，得到的结果都是基于图像的二维检测结果，难以反映目标在实际三维环境中的位置。[0003]图像和点云这两种类型的传感器数据各有特点，同时也都存在不足之处。图像数据可以表达丰富的语义信息，但不能准确给出目标的空间位置。例如，对于一张输入图像，可以通过上述提及的目标检测网络对图像中包含的目标进行预测，从而获取图