一种基于点云数据自动增强的三维点云语义分割方法.pdf

(19)国家知识产权局(12)发明专利申请(10)申请公布号CN115830311A(43)申请公布日2023.03.21(21)申请号202211378833.2(22)申请日2022.11.04(71)申请人电子科技大学长三角研究院（湖州）地址313001浙江省湖州市西塞山路819号南太湖科技创新综合体B1幢(72)发明人罗欣韦祖棋冷庚贾海涛常乐许文波(51)Int.Cl.G06V10/26(2022.01)G06T17/20(2006.01)权利要求书1页说明书3页附图2页(54)发明名称一种基于点云数据自动增强的三维点云语义分割方法(57)摘要本发明公开了一种基于点云数据自动增强的三维点云语义分割方法。该发明可以进一步增强以PointNet++为代表的点云语义分割算法在不同应用场景下的泛化性能。以往点云语义分割算法通常存在两个问题：一是利用传统的数据增强方法；二是将数据增强与网络训练分为两个阶段。本发明提出的基于点云数据自动增强的三维点云语义分割方法，通过考虑样本的基本几何结构，为每个输入样本回归一个特定的增强函数，同时学习点云样本的形状变换和逐点位移，并联合优化增强函数和优化器，解决网络中输入样本多样性不足的问题，增强网络的泛化能力。CN115830311ACN115830311A权利要求书1/1页1.一种基于点云数据自动增强的三维点云语义分割方法，其特征在于，包括以下步骤：步骤1：以PointNet++作为分类器，其特征提取主干以共享的多层感知机(MLP)为主导，将原始点云P输入，利用最远点采样和球查询之后得到点云的局部邻域，然后利用MLP，获取每个点的特征，即F；步骤2：F的大小为N×C，其中，N为点云的数量，C是每个点的特征维数，先利用最大池化来获得每个点的形状特征向量G，然后基于高斯分布生成一个C维的噪声矢量，将G与噪声矢量进行串联，对这个串联的结果进行MLP，从而得到形状增强M；步骤3：将G由1×C扩充为N×C，然后将扩充后的G与F进行拼接，同时，基于高斯分布生成大小为N×C的噪声矩阵，将这个矩阵与之前拼接的结果再次拼接，然后进行共享的MLP，从而得到逐点位置增强D；步骤4：得到M与D之后，利用公式P'＝P*M+D得到增强后的样本数据P'；步骤5：采用多分类问题中常用的交叉熵损失来制定损失函数，对于增强函数，原始样本与增强后的样本都应用交叉熵函数来计算一个损失，而为了让网络生成的增强样本有更丰富的多样性，所以增强函数的损失是原始样本与增强样本的损失函数差值的最大化，即LA＝exp[‑L(P')‑L(P)]；步骤6：采用增强函数来生成增强样本P'，然后采用增强函数损失计算LA，从而更新增强函数中可学习的参数，然后保持增强函数不变，采用原始样本与增强样本各一半的混合样本方法，对分类器进行训练，从而更新分类器中可学习的参数，然后保持分类器不变。2.如权利要求1所述方法，其特征在于，步骤2与步骤3中的数据增强方法均使用高斯分布来生成噪声矢量。3.如权利要求1所述方法，其特征在于，步骤5中先计算原始样本和增强样本的交叉熵损失，然后计算这两个损失的差值的最大值。4.如权利要求1所述方法，其特征在于，步骤6中输入的样本为原始样本与增强样本各一半的混合样本。2CN115830311A说明书1/3页一种基于点云数据自动增强的三维点云语义分割方法技术领域[0001]本发明涉及计算机视觉领域，是基于深度学习的方法实现三维点云的语义分割。背景技术[0002]近年来，随着各种3D传感器(如LIDAR，RGB‑D相机等)的发展，3D数据更易获取，各种3D点云数据集如雨后春笋般涌现。在室内领域，存在着S3DIS、ScanNet等大型数据集；在室外领域，存在着Semantic3D、KIITTI、Waymo等大型数据集。这些数据集的出现在一定程度上推动了三维视觉领域的发展。但是，3D点云数据量庞大，若对每个数据集都进行手工标注，那么耗费的时间、人力物力等都将是十分庞大的。所以，利用深度学习的方法，对点云数据进行自动标注就变得十分重要起来。而这正是三维点云语义分割的技术领域。而要推动该技术的发展，有两个至关重要的方面。一是算法的进步，现有已有许多学者对此进行研究；二是丰富的点云样本数据集，虽然已有一些室内室外的大型点云数据集，但是这些数据集不足以涵盖真实世界的物体种类，它们具有相对少量的标签和有限的多样性。为此，可以通过人为的方法扩大训练样本的数量和多样性，以避免过拟合和提高网络的泛化能力，即数据增强技术。在目前的点云语义分割方法中，大多数的研究人员都是利用传统的数据增强方法，如随机抖动，旋转等；且将数据增强与网络训练分为两个阶段，即先对数据进行增强，再对网络进行训练，这些传统的数据增强技术可能导致训练不充分，对点云数据进行自动增强的研究还有