一种基于体素和图卷积的三维点云语义分割方法.pdf

(19)国家知识产权局(12)发明专利申请(10)申请公布号CN115719420A(43)申请公布日2023.02.28(21)申请号202211536504.6(22)申请日2022.12.01(71)申请人电子科技大学长三角研究院（湖州）地址313001浙江省湖州市西塞山路819号南太湖科技创新综合体B1幢(72)发明人罗欣冯倩许文波贾海涛常乐冷庚(51)Int.Cl.G06V10/26(2022.01)权利要求书1页说明书2页附图2页(54)发明名称一种基于体素和图卷积的三维点云语义分割方法(57)摘要本发明公开了一种基于体素和图卷积的三维点云语义分割方法。该发明基于图卷积网络(GCN)通过充分保留数据粒度和利用点相互关系能带来显著的性能，但基于点的网络在数据结构(例如，最远点采样(FPS)和邻近点查询)上花费了大量时间，限制了速度和可扩展性的问题，提出基于体素和图卷积的解决方案，该方法可以快速有效的构建点云表示，提升网络的处理速度和可扩展性。本发明提出的基于体素和图卷积的三维点云语义分割方法，通过构建覆盖感知网格查询(CAGQ)，利用网格空间的效率，覆盖感知网格查询(CAGQ)提高了空间覆盖率，同时降低了理论时间复杂度；然后将CAGQ生成的局部点组输入由图卷积构成的网格上下文聚合(GCA)，通过执行网格上下文池化以提取网格邻域的上下文特征，从而完成特征信息的提取。CN115719420ACN115719420A权利要求书1/1页1.一种基于体素和图卷积的三维点云语义分割方法，其特征在于，包括以下步骤：步骤1：采用体素化来对不规则的点云数据进行结构化，首先设置体素大小(vx,vy,vz)对输入空间进行体素化，然后将每个点映射到体素索引；步骤2：令Ov表示所有非空体素，然后在Ov中采样M个中心体素，中心体素的选择目标是使其可以覆盖最大的空间，所以使用贪心算法迭代所有组合的最优解；步骤3：对步骤2得到的中心体素，采用KNN，在中心体素的上下文节点中，寻找K个最邻近的节点作为每个中心体素的邻域节点，每个中心体素与邻域点组共同形成局部点组；步骤4：对步骤3形成的每个局部点组，首先构造一个局部图G(V,E)，其中V由CAGQ提供的组中心和K个节点组成，然后将每个节点连接到组中心，形成E；步骤5：利用节点与边的距离关系，采用共享的多层感知机(MLP)将距离抽象为权重，以此获得注意力分数；步骤6：用步骤5获得的注意力分数矩阵进行网格上下文池化，每个点的特征与注意力分数进行相乘，再进行相加，以此将每个组中的特征信息聚合到组中心。2.如权利要求1所述方法，其特征在于，步骤2中得到的M个中心体素需要覆盖最大的网格空间。3.如权利要求1所述方法，其特征在于，步骤4中进行KNN时，并非对所有点进行查询，而是只查询上下文节点。4.如权利要求1所述方法，其特征在于，步骤6中仅利用几何距离关系来计算权重。2CN115719420A说明书1/2页一种基于体素和图卷积的三维点云语义分割方法技术领域[0001]本发明涉及计算机视觉的图卷积三维点云语义分割领域，是基于深度学习的方法实现三维点云的语义分割。背景技术[0002]由于点云数据的稀疏性和不规则性，直接利用点的方法变得流行起来。在所有基于点的模型中，图卷积网络(GCN)通过充分保留数据粒度和利用点相互关系带来了显著的性能。然而，基于点的网络在数据结构(例如，最远点采样(FPS)和邻近点查询)上花费了大量时间，这限制了速度和可扩展性。而传统的体素模型是将点云转移到空间量化体素网格并使用体积卷积在网格空间中执行计算的一系列模型，其使用网格作为数据结构化方法，点与网格中的位置相关联，并且3D卷积核从相邻体素收集信息。尽管网格数据结构是有效的，但需要高体素分辨率来保持数据位置的粒度。由于计算和内存使用量随着体素分辨率呈立方增长，因此处理大型点云的成本很高。因此，部分研究人员提出了将基于点的模型与基于体素的模型结合起来，充分利用两种模型的优势，同时实现了高效的数据结构化和高效的计算。但现有的基于体素和基于点的模型的结合的探索还不充分，设计出一个充分融合点与体素的优势的模型是点云语义分割实现实时化的重要前置条件。发明内容[0003]为了克服基于点的网络在数据结构构造中消耗大量时间的问题，从而提升网络处理速度和提高可扩展性，本发明提出了一种基于体素和图卷积的方法，用于快速和可扩展的点云学习。如图1所示，该方法使用一种名为覆盖感知网格查询(CAGQ)的新颖的数据结构化策略，通过利用网格空间的效率，覆盖感知网格查询(CAGQ)提高了空间覆盖率，同时降低了理论时间复杂度，CAGQ可以加速中心采样和邻域点查询，同时为学习过程提供更完整的点云覆盖。如图2所示，通过CAGQ之后，利用图卷积构造了卷积模块，称为网格上下文聚合(