基于图像与点云融合的多模态三维目标检测方法及装置.pdf

(19)中华人民共和国国家知识产权局(12)发明专利申请(10)申请公布号CN114119992A(43)申请公布日2022.03.01(21)申请号202111266214.X(22)申请日2021.10.28(71)申请人清华大学地址100084北京市海淀区清华园(72)发明人高跃戴岳赵曦滨(74)专利代理机构北京清亦华知识产权代理事务所(普通合伙)11201代理人张娜(51)Int.Cl.G06V10/44(2022.01)G06V10/80(2022.01)G06V10/82(2022.01)G06N3/04(2006.01)G06N3/08(2006.01)权利要求书2页说明书9页附图3页(54)发明名称基于图像与点云融合的多模态三维目标检测方法及装置(57)摘要本申请涉及立体视觉目标检测技术领域，特别涉及一种基于图像与点云融合的多模态三维目标检测方法及装置，其中，方法包括：利用图像卷积神经网络提取至少一个图像特征，并基于至少一个图像特征预测图像所含目标；根据传感器标定关系确定像素和点云投影关系，并基于像素和点云投影关系将像素特征融合至点云数据；将点云空间划分为柱体，并使用柱体特征网络编码柱体内点云，根据融合后的点云数据生成伪图像特征；将柱体对应的图像的结构化特征合并至伪图像特征；根据伪图像特征利用单步目标检测网络生成三维候选框，得到目标检测结果。本申请实施例可以基于图像和点云数据融合实现三维目标检测的目的，使用图像数据特征增强了从点云场景中执行目标检测的性能，有效保证检测的准确度和可靠性。CN114119992ACN114119992A权利要求书1/2页1.一种基于图像与点云融合的多模态三维目标检测方法，其特征在于，包括以下步骤：利用图像卷积神经网络提取至少一个图像特征，并基于所述至少一个图像特征预测图像所含目标；基于所述图像所含目标，根据传感器标定关系确定像素和点云投影关系，并基于所述像素和点云投影关系将像素特征融合至点云数据；将点云空间划分为柱体，并使用柱体特征网络编码所述柱体内点云，根据融合后的点云数据生成伪图像特征；将所述柱体对应的图像的结构化特征合并至所述伪图像特征；以及根据所述伪图像特征利用单步目标检测网络生成三维候选框，得到目标检测结果。2.根据权利要求1所述的方法，其特征在于，所述基于所述图像所含目标，根据传感器标定关系确定像素和点云投影关系，并基于所述像素和点云投影关系将像素特征融合至点云数据，包括：根据激光雷达和相机位置矩阵及相机内参矩阵，将点云坐标转换至像素平面，确定每个点对应的像素；根据所述每个点对应的像素生成点云对应的特征；将所述点云对应的特征合并到点云列表中。3.根据权利要求2所述的方法，其特征在于，所述点云对应的特征包括第一语义特征、第一纹理特征和第一几何特征，其中，所述根据所述每个点对应的像素生成点云对应的特征，包括：若点对应的像素位于所述图像所含目标内，则将所述对应的像素标识为目标类别，否则标识为背景类别，生成的像素类别为所述第一语义特征；基于点对应的像素的三通道颜色值生成所述第一纹理特征；若点对应的像素位于所述图像所含目标内，则使用目标中心近似拟合三维目标的向量，生成所述第一几何特征。4.根据权利要求2或3所述的方法，其特征在于，所述将所述柱体对应的图像的结构化特征合并至所述伪图像特征，包括：计算所述柱体内点云的几何中心，确定所述柱体的计算坐标；根据所述激光雷达和相机位置矩阵及所述相机内参矩阵，将柱体坐标转换至像素平面，确定每个柱体对应的像素；根据所述每个柱体对应的像素生成柱体对应的特征；将所述柱体对应的特征并到伪图像特征中。5.根据权利要求4所述的方法，其特征在于，所述柱体对应的特征包括第二语义特征、第二纹理特征和第二几何特征，其中，所述根据所述每个柱体对应的像素生成柱体对应的特征，包括：若柱体中心坐标对应的像素位于所述图像所含目标内，则将所述对应的像素标识为所述目标类别，否则标识为所述背景类别，生成的像素类别为所述第二语义特征；基于柱体中心对应的像素的三通道颜色值生成所述第二纹理特征；根据所述柱体中心对应的像素计算与图像检测到的目标的像素差，并计算相应的偏角，生成所述第二几何特征。2CN114119992A权利要求书2/2页6.一种基于图像与点云融合的多模态三维目标检测装置，其特征在于，包括：预测模块，用于利用图像卷积神经网络提取至少一个图像特征，并基于所述至少一个图像特征预测图像所含目标；第一生成模块，用于基于所述图像所含目标，根据传感器标定关系确定像素和点云投影关系，并基于所述像素和点云投影关系将像素特征融合至点云数据；第二生成模块，用于将点云空间划分为柱体，并使用柱体特征网络编码所述柱体内点云，根据融合后的点云数据生成伪图像特征；合并模块，用于将所述柱体对应的图像的结构