一种三维点云语义分割的系统及方法.pdf

(19)国家知识产权局(12)发明专利申请(10)申请公布号CN116030255A(43)申请公布日2023.04.28(21)申请号202310080218.1(22)申请日2023.01.17(71)申请人云南大学地址650091云南省昆明市五华区翠湖北路2号(72)发明人李浩刘晓龙邱晨阳王稳陈亦敏李信衍(74)专利代理机构成都九鼎天元知识产权代理有限公司51214专利代理师和占宏(51)Int.Cl.G06V10/26(2022.01)G06T5/30(2006.01)G06T17/20(2006.01)权利要求书2页说明书4页附图3页(54)发明名称一种三维点云语义分割的系统及方法(57)摘要本发明公开一种三维点云语义分割的系统及方法，包括独立特征提取模块、预处理模块、分组模块、领域特征提取模块和特征融合模块；所述独立特征提取模块提取点云的全局特征，所述预处理模块先通过最远点采样法得到点云集的中心点，再依据中心点选取固定半径内的点云；所述分组模块负责将预处理得到的点云集根据膨胀系数重新建立点云集；所述领域特征提取模块用来提取点云的特征，所述特征融合模块用来将各个通道提取到的特征和全局特征进行融合。本发明采用轻量级网络来提取点云的全局特征，构建了一个分组模块来大大减少点云图结构的节点数，缩短了训练周期，同时该分组模块丰富了点云信息，扩大了点云的感受野，对稀疏点云的特征提取有很大帮助。CN116030255ACN116030255A权利要求书1/2页1.一种三维点云语义分割的系统，其特征在于，包括独立特征提取模块、预处理模块、分组模块、领域特征提取模块和特征融合模块；所述独立特征提取模块提取点云的全局特征，所述预处理模块先通过最远点采样法得到点云集的中心点，再依据中心点选取固定半径内的点云；所述分组模块负责将预处理得到的点云集根据膨胀系数重新建立点云集；所述领域特征提取模块用来提取点云的特征，所述特征融合模块用来将各个通道提取到的特征以及全局特征进行融合。2.根据权利要求1所述的一种三维点云语义分割的系统，其特征在于，所述领域特征提取模块包含8个网络层，第1至6层由图注意力卷积层和图池化层组成，第7至8层由特征插值和跳跃连接层构成；所有卷积层都采用批归一化方法进行处理，并通过ELU函数进行激活。3.一种三维点云语义分割的方法，其特征在于，具体包括如下步骤：步骤1.对原始点云进行全局特征提取操作；步骤2.将原始点云采用最远点采样法和球查询算法进行分组，得到点云的局部区域；步骤3.对预处理得到的点云集进行分组，按照K近邻值划分为三个通道；步骤4.对每个通道的点云提取点云局部特征。4.根据权利要求3所述的一种三维点云语义分割的方法，其特征在于，所述步骤1中具体操作方法为：将原始点云输入到独立特征提取模块，将所有点云对齐，然后利用多层感知机将对齐后的点特征映射到高维空间，最后采用最大池化操作保留点云的全局特征。5.根据权利要求3所述的一种三维点云语义分割的方法，其特征在于，所述步骤2中的最远点采样法：随机将一个点定为中心点，再选择离中心点最远的点加入中心点，不断的进行迭代，最终得到预先确定好的中心点数目；得到全部的中心点后，以中心点作为球心，得到半径为r的点云球。6.根据权利要求3所述的一种三维点云语义分割的方法，其特征在于，所述步骤3中将3输入点云集P＝(p1,p2,...,pn)∈R根据其邻域信息构建一个点云图结构G＝(V,E)，其中，V＝{1,2,...,N}代表图的顶点，N代表点云数量，E代表点之间的边；定义M(k,d)(v)作为顶点v的膨胀点云集，k代表近邻点数量，d代表膨胀比例；定义一个用于点云图结构的膨胀KNN算法，通过跳过每d个邻近点返回k*d邻域点区域内的k个最近点，假设{u1,u2,...,uk*d}是k*d区域内的点，则通过膨胀KNN算法得到的顶点v的膨胀比例为d的膨胀点云集为{u1,u1+d,u1+2d,...,u1+(k‑1)d}，其公式定义如下：(k,d)M(v)＝{u1,u1+d,u1+2d,...,u1+(k‑1)d}。7.根据权利要求3所述的一种三维点云语义分割的方法，其特征在于，所述步骤4中，领域特征提取模块包括图注意力卷积方法：在编码过程中，对不同尺度的点云图结构使用图卷积神经网络来提取特征，卷积过程中引入注意力机制，为每个领域点云分配合理的权重，随后通过图池化实现下采样来降低每个特征通道中的点云分辨率；在解码过程中，采用类似于PointNet++提取特征的方式，通过特征插值和跳跃连接方式来优化提取的点云局部特征。8.根据权利要求7所述的一种三维点云语义分割的方法，其特征在于，所述图池化具体方法为：用h′l作为在图金字塔的第l个尺度上的点云图结构输出特征，第l+1个尺度上的图池化公式定义如下