基于交叉注意力机制的图像点云融合三维目标检测方法.pdf

(19)国家知识产权局(12)发明专利申请(10)申请公布号CN115019043A(43)申请公布日2022.09.06(21)申请号202210655005.2G06T15/20(2011.01)(22)申请日2022.06.10G06N3/04(2006.01)(71)申请人华南理工大学地址510641广东省广州市天河区五山路381号(72)发明人胡斌杰廖清(74)专利代理机构北京高沃律师事务所11569专利代理师刘芳(51)Int.Cl.G06V10/26(2022.01)G06V20/64(2022.01)G06V10/762(2022.01)G06V10/80(2022.01)G06V10/82(2022.01)G06T17/10(2006.01)权利要求书3页说明书12页附图5页(54)发明名称基于交叉注意力机制的图像点云融合三维目标检测方法(57)摘要本发明涉及一种基于交叉注意力机制的图像点云融合三维目标检测方法及系统，属于三维目标检测领域。方法包括：对图像进行目标检测及分割处理，得到实例掩码；根据点云图像空间投影关系得到每一个实例掩码内的点云集合；使用DBSCAN聚类算法对每一个点云集合内的点云进行聚类，为前景点集合中的所有点云逐点拼接实例分割结果向量，将经图像特征渲染的点云所占的整个三维空间划分成多个柱体并进行特征拆分和重组，引入交叉注意力机制聚合柱体内每个点的位置特征和图像特征，多个柱体的融合特征构成伪图像特征；使用RPN网络提取并整合伪图像特征的多尺度特征，根据高分辨率特征图生成三维目标检测结果；从而提高了融合精度，实现了更优的检测效果。CN115019043ACN115019043A权利要求书1/3页1.一种基于交叉注意力机制的图像点云融合三维目标检测方法，其特征在于，包括：获取相机采集的二维图像并对所述二维图像进行目标检测及分割处理，得到多个二维图像实例掩码；根据点云图像空间投影关系得到所述多个二维图像实例掩码中每一个实例掩码内的点云集合；使用DBSCAN聚类算法对每一个点云集合内的点云进行聚类，分别得到前景点集合和背景点集合；为所述前景点集合中的所有点云逐点拼接实例分割结果向量，得到经图像特征渲染的点云；将所述经图像特征渲染的点云所占的整个三维空间划分成多个柱体，并进行特征拆分和重组，得到柱体内每个点的位置特征和图像特征；引入交叉注意力机制聚合柱体内每个点的位置特征和图像特征，进而得到每个柱体的融合特征，多个柱体的融合特征构成伪图像特征；使用RPN网络提取并整合所述伪图像特征的多尺度特征，生成高分辨率特征图；根据所述高分辨率特征图生成三维目标检测结果；所述三维目标检测结果包括目标边界框的类别及位置参数。2.根据权利要求1所述的方法，其特征在于，所述对所述二维图像进行目标检测及分割处理，得到多个二维图像实例掩码，具体包括：使用CenterNet检测器得到所述二维图像内的所有目标检测框；使用MaskRCNN中的分割模块对每个目标检测框进行像素级分类，得到多个二维图像实例掩码。3.根据权利要求2所述的方法，其特征在于，所述根据点云图像空间投影关系得到所述多个二维图像实例掩码中每一个实例掩码内的点云集合，具体包括：根据事先标定好的激光雷达外参和相机内外参，得到点云‑图像的坐标变换矩阵；根据所述坐标变换矩阵将点云投影到二维图像中，获得每个点云在二维图像中的二维像素坐标；根据所述二维像素坐标筛选出位于每一个实例掩码内的所有点云，构成所述实例掩码内的点云集合。4.根据权利要求3所述的方法，其特征在于，所述为所述前景点集合中的所有点云逐点拼接实例分割结果向量，得到经图像特征渲染的点云，具体包括：对所述前景点集合中的所有点云，沿特征通道逐点拼接实例分割结果向量，得到拼接后的实例分割结果向量；所述实例分割结果向量中包含实例分割的类别和置信度；对所述背景点集合中的所有点云，采用相同维度的全一向量进行拼接；经拼接后得到经图像特征渲染的点云。5.根据权利要求4所述的方法，其特征在于，所述将所述经图像特征渲染的点云所占的整个三维空间划分成多个柱体，并进行特征拆分和重组，得到柱体内每个点的位置特征和图像特征，具体包括：将所述经图像特征渲染的点云所占的整个三维空间划分成多个柱体，并根据点云的三维坐标进行空间归类，将点云归类到相应的柱体内；2CN115019043A权利要求书2/3页对于所述多个柱体中超过点数T的柱体，随机筛选出T个点云，对于不足点数T的柱体，用零填充，实现不规则点云的结构化处理；将所述经图像特征渲染的点云进行特征拆分及重组，得到柱体内每个点的位置特征和图像特征；所述位置特征包括点云的三维坐标和划分柱体时引入的相对柱体中心的坐标；所述图像特征包括点云的三维坐标和所述拼接后的实例分割结果向量。6.根据权利要求5所述的