基于多尺度特征融合的三维点云语义分割方法.pdf

(19)中华人民共和国国家知识产权局(12)发明专利申请(10)申请公布号CN114359902A(43)申请公布日2022.04.15(21)申请号202111463598.4G06N3/04(2006.01)(22)申请日2021.12.03G06N3/08(2006.01)(71)申请人武汉大学地址430072湖北省武汉市武昌区珞珈山武汉大学(72)发明人乐鹏刘广超张晨晓(74)专利代理机构武汉科皓知识产权代理事务所(特殊普通合伙)42222代理人王琪(51)Int.Cl.G06V20/70(2022.01)G06V10/764(2022.01)G06V10/80(2022.01)G06V10/82(2022.01)G06K9/62(2022.01)权利要求书2页说明书5页附图3页(54)发明名称基于多尺度特征融合的三维点云语义分割方法(57)摘要本发明公开了一种基于多尺度特征融合的三维点云语义分割方法。针对现有方法中单一编码器存在的感受野受限、难以适应不同类别预测的问题，本发明在网络编码器部分引入多支具有不同感受野的子编码器用于编码不同尺度的特征，为了在保证子编码器感受野大小的同时减少计算量和显存占用，本发明使用空洞卷积提取点云特征。相比于已有的基于深度学习框架的三维点云语义分割方法，本发明方法更好的保留了属于点云集合的不同尺度的高维特征，因此可以适应不同尺度的地物的预测，实现比已有方法更高的语义分割精度。CN114359902ACN114359902A权利要求书1/2页1.一种基于多尺度特征融合的三维点云语义分割方法，其特征在于，包括如下步骤：步骤1：对原始点云数据进行数据预处理，构建训练样本集与对应的真值标签，训练样本集中包括若干点云集合，每个点云集合由原始点云数据依概率采样而得，其真实标签包括该点云集合中全部点的真值类别；步骤2：构建一个三维点云高维特征编码器，该编码器由三个结构完全相同但感受野不同的子编码器构成，即branch1、branch2、branch3，所述子编码器网络的主体结构由堆叠的空洞卷积模块DBS和下采样模块DS构成，其中空洞卷积模块使用空洞K近邻DKNN寻找近邻节点，使用卷积对近邻特征进行聚合；下采样模块用于对输入特征进行下采样；步骤3：将点云集合输入到步骤2定义的特征编码器中，每个点云集合获得四组高维特征，这四组高维特征是分别从特征提取网络的不同层抽取出的高维特征，即f1，f2，f3，f4；步骤4：将步骤3提取出的高维特征放入到解码器网络中进行点级别的分类，所述解码器网络的输入来自特征编码器的四个高维特征f1，f2，f3和f4，其中，最深层特征f4作为解码器网络的初始输入特征；所述解码器网络的主体结构由堆叠的上采样模块和卷积层构成，同时引入跳跃连接融合上采样模块输出的特征和特征编码器中传入的对应尺寸的高维特征来优化语义分割效果，其中上采样模块用于对输入特征进行上采样，卷积层用于对特征进行维度变换，经过多次上采样、卷积和多尺度特征融合之后通过一系列卷积层和一个sigmoid激活层得到各点的预测结果，解码器网络最后输出一个与输入点云集合大小相同的类别预测图，为输入点云集合中的每个点预测一个类别标签；步骤5：对构建好的三维点云语义分割网络进行训练，所述语义分割网络包括特征编码和解码器网络，训练过程是一个端到端的过程，编码器和解码器中的网络参数将同时进行训练，训练过程使用加权交叉熵损失函数WCEL评估训练过程中的损失，损失函数中各类别权重与该类别的样本数量成反比。2.如权利要求1所述的一种基于多尺度特征融合的三维点云语义分割方法，其特征在于：步骤2中所述的三维点云高维特征编码器中，每次经过下采样层之后点云中点的数量将变为原来的1/4。3.如权利要求1所述的一种基于多尺度特征融合的三维点云语义分割方法，其特征在于：步骤2的不同子编码器branch1、branch2和branch3中，空洞卷积模块和下采样模块中的近邻数K均为16，扩张率D分别设置为1，2，3。4.如权利要求1所述的一种基于多尺度特征融合的三维点云语义分割方法，其特征在于：步骤3所述的f1、f2、f3和f4分别由三个子编码器输出的特征(b1_f1、b2_f1、b3_f1)、(b1_f2、b2_f2、b3_f2)、(b1_f3、b2_f3、b3_f3)和(b1_f4、b2_f4、b3_f4)聚合而成，b1、b2、b3分别表示三支具有不同扩张率参数的子编码器branch1、branch2、branch3。5.如权利要求1所述的一种基于多尺度空洞卷积的场景点云语义分割方法，其特征在于：解码器网络的输入f4首先通过一个卷积层和上采样模块得到上采样特征f4_up，将f4_up和f3进行特征融合后通过一个卷积层和上采样模块得到上采样特征f3_up，将