基于多视角图结构特征注意力卷积的点云语义分割方法.pdf

(19)国家知识产权局(12)发明专利申请(10)申请公布号CN115965788A(43)申请公布日2023.04.14(21)申请号202310039382.8G06N3/0455(2023.01)(22)申请日2023.01.12G06N3/0464(2023.01)G06N3/08(2023.01)(71)申请人黑龙江工程学院G06T7/10(2017.01)地址150050黑龙江省哈尔滨市道外区红旗大街999号(72)发明人田泽宇郭霆吴川张玉娟席志龙(74)专利代理机构哈尔滨市松花江专利商标事务所23109专利代理师高倩(51)Int.Cl.G06V10/26(2022.01)G06V10/44(2022.01)G06V10/764(2022.01)G06V10/82(2022.01)权利要求书3页说明书6页附图3页(54)发明名称基于多视角图结构特征注意力卷积的点云语义分割方法(57)摘要基于多视角图结构特征注意力卷积的点云语义分割方法，解决了如何高精度的点云语义分割的问题，属于语义分割技术领域。本发明的编码器网络以邻域图的形式表示点云，通过图结构特征注意力分支，动态调整卷积核的权重和形状，动态适应点云不规则、无序的、分布不均匀的结构，有选择地聚焦在邻域最相关的部分，通过多视角空间特征分支，在邻域内产生更准确的空间特征描述。图结构特征注意力分支和多视角空间特征分支构成多视角图结构特征注意力卷积。再通过解码器解码，根据解码的特征向量，获得点云数据中每个点的最终语义标签。本发明可以直接处理无结构的三维点云，精确获取点云的结构特征，实现高精度的点云语义分割。CN115965788ACN115965788A权利要求书1/3页1.基于多视角图结构特征注意力卷积的点云语义分割方法，其特征在于，所述方法包括：S1、获取点云数据；S2、将点云数据输入编码器网络，提取点云数据的多尺度特征，编码器网络包括五个依次连接的编码器层，每个编码器层包括采样层和多视角图结构特征注意力卷积层；采样层对点云进行采样，将采样点作为参考点，获取参考点的邻域点，构建参考点的邻域图；多视角图结构特征注意力卷积层包括图结构特征注意力分支和多视角空间特征分支；将参考点及其邻域点同时输入至图结构特征注意力分支和多视角空间特征分支；图结构特征注意力分支根据参考点及其邻域点，计算相对邻域点坐标集合和相对邻域点特征集合，将相对邻域点特征集合输入多层感知机MLP1，将多层感知机MLP1输出的特征向量与相对邻域点坐标集合连接，并输入多层感知机MLP2和softmax组成的函数中，学习图结构特征注意力权重Ga，同时将相对邻域点坐标集合和相对邻域点特征集合同时输入多层感知机MLP3，获得特征向量G1，并将Ga与G1进行逐元素相乘，将乘积输入至多层感知机MLP4中，该多层感知机MLP4输出图结构特征注意力分支的输出特征向量Gout；多视角空间特征分支根据参考点及其邻域点计算相对邻域点坐标集合，将相对邻域点坐标集合分别投影到X‑Y、X‑Z和Y‑Z平面，获得3个平面的相对坐标集合，将3个平面的相对坐标集合分别输入多层感知机MLP5、多层感知机MLP6、多层感知机MLP7，将3个多层感知机MLP的输出特征向量进行连接，再输入至多层感知机MLP8，多层感知机MLP8输出多视角空间特征分支的输出特征向量Mout；将输出特征向量Gout和输出特征向量Mout连接，并输入多层感知机MLP9中，多层感知机MLP9的输出进行最大池化操作，获得多视角图结构特征注意力卷积的输出特征向量Fout，为点云数据的多尺度特征；S3、将输出特征向量Fout输入至解码器网络，获得与S2中点云数据相同点数的特征向量；S4、将S3获得的特征向量输入到多层感知器MLP10中，获得点云数据中每个点的最终语义标签。2.根据权利要求1所述的基于多视角图结构特征注意力卷积的点云语义分割方法，其特征在于，所述采样层利用最远点采样法对点云进行采样，将采样点作为参考点V＝{p1,p2,…,pN}，以参考点为圆心，以特定半径构建球形邻域，在球形邻域范围内随机采样，得到参考点的K个邻域点H(i)是参考点pi的邻域，构建参考点V的邻域图G(V,E)，边点云中的任一点pi均可被分为坐标部分和特征属性部分3.根据权利要求1所述的基于多视角图结构特征注意力卷积的点云语义分割方法，其特征在于，图结构特征注意力分支获取图结构特征注意力权重Ga的方法：2CN115965788A权利要求书2/3页其中，gji表示图结构特征注意力权重，是邻域点pj的空间坐标，是参考点pi的空间坐标，是邻域点pj关于参考点pi的相对坐标，是邻域点pj的特征属性，是参考点pi的特征属性，Δfji是邻域点pj关于参考点pi的相对特征；Mδ是输入通道数为C、输出通道数为1的多