一种基于体素点云融合的三维动态目标检测方法及装置.pdf

(19)中华人民共和国国家知识产权局(12)发明专利申请(10)申请公布号CN113989797A(43)申请公布日2022.01.28(21)申请号202111250717.8G06V10/80(2022.01)(22)申请日2021.10.26(71)申请人清华大学苏州汽车研究院(相城)地址215134江苏省苏州市相城区高铁新城太阳路2266号一号楼(72)发明人陶重犇郑四发曹杰程周锋张祖峰(74)专利代理机构苏州创元专利商标事务所有限公司32103代理人孙周强(51)Int.Cl.G06V20/64(2022.01)G06V10/40(2022.01)G06V10/77(2022.01)G06V10/764(2022.01)权利要求书6页说明书18页附图8页(54)发明名称一种基于体素点云融合的三维动态目标检测方法及装置(57)摘要本发明提出了一种基于体素点云融合的三维动态目标检测方法及装置，采用两阶段的多次、多尺度特征融合的检测架构,第一阶段对点云直接处理提78取关键点特征和划分体素空间提取多尺度体素特征,将两者特征进行初次融合生成预选框.第二阶段在每个体素中设置参考点并吸收周围的关键点进行第二次的特征融合,将最终特征输入检测模块,实现预选框的优化.另外,针对分类和定位置信度不一致的问题,提出一种强制一致性损失函数,可以进一步提高检测的准确性.本发明的算法在Kitti,Waymo,Nuscene数据集中与其他算法进行了对比,并且通过实物车辆平台进行了可移植性和消融性研究,结果表明,本发明算法针对三维动态目标检测的准确率高,鲁棒性、可移植性和泛化能力强。CN113989797ACN113989797A权利要求书1/6页1.一种基于体素点云融合的三维动态目标检测方法，采集三维动态目标后经过第一阶段与第二阶段，再点云输出三维动态目标，完成三维动态目标检测；其特征在于，采集三维动态目标后点云输入；第一阶段为对点云提取关键点特征、体素特征提取、特征融合、预选框生成；第二阶段为预选框优化、损失函数计算。2.根据权利要求1所述基于体素点云融合的三维动态目标检测方法，其特征在于，第一阶段中，通过划分体素进行3D卷积操作，利用子流形稀疏卷积的方法，作为特征编码和预选框生成的主干网络，同时使用FPS迭代最远点采样的方法对点云提取关键点并进行聚类，提取其周围区域的特征，最后将关键点在对应体素空间的特征与关键点周围区域特征进行融合，得到点云空间中关键点的高级特征；第二阶段在基于体素生成的ROI区域中选取参考点，进行聚类，融合第一阶段生成的关键点特征对预选框进行优化，并通过置信度强制约束的损失函数计算。3.根据权利要求1所述基于体素点云融合的三维动态目标检测方法，其特征在于，第一阶段中，对点云提取关键点特征为关键点采样层、聚类层、特征提取层、前景点分割层；其中，关键点采样层采用迭代最远点采样的方法从点云中采样关键点，包括以下步骤，输入点云集合共有n个点，随机选取作为起始点，并写入关键点的集合，计算和剩余的n‑1个点的欧式距离，选择最远点写入集合，下一次迭代同时考虑两个点，计算剩余n‑2个点到集合K中两个点的距离，取最短的作为该点到点集的距离，得到n‑2个点到集合K的距离，选取其中最远的点写入集合，继续迭代上述过程，直到采样出所需要的点的数目；聚类层利用多分辨率组合，以关键点为中心，R为半径划分球形区域，提取区域中包含的点的信息，获取到目标相关联的特征；提取的特征由两个特征向量串联构成，前半部分由原始点云数据中的所有点进行特征提取构成，后半部分由前半部分特征输入PointNet网络中得到；特征提取层使用基于PointNet网络对聚类层得到的各个局部特征进行卷积和池化操作，得到的多分辨率特征作为该中心点的局部特征，得到维度一致的特征；前景点分割层利用关键点预测加权层对特征提取层得到的关键点进行检测，筛选出前景点。4.根据权利要求3所述基于体素点云融合的三维动态目标检测方法，其特征在于，前景点分割层将关键点特征输入两层的感知机网络，得出其属于前景点的权重信息；其中第一层MLP(128，256)网络有两次卷积过程，第一次为128个1×128×1大小的卷积核与输入特征进行卷积，得到的n个1×128的特征向量，第二次使用256个1×1×128大小的卷积核进行卷积，得到n个1×256的特征向量，并通过维度变换将特征向量变为n×256；第二层MLP(128，1)网络有两次卷积过程，第一次使用128个1×256×1大小的卷积核与输入特征进行卷积，得到n个1×128的特征向量，第二次使用1个1×1×128大小的卷积核进行卷积，得到n个1×1的特征向量，最后再通过维度变换将前景点预测值变为n×1；在处理包含多个点的点云数据时，对每个点乘以相同权重，权值范围在(0，1