一种基于多头两级注意力的三维点云语义分割方法及系统.pdf

(19)国家知识产权局(12)发明专利申请(10)申请公布号CN114792372A(43)申请公布日2022.07.26(21)申请号202210709918.8G06V10/82(2022.01)(22)申请日2022.06.22G06K9/62(2022.01)G06T17/00(2006.01)(71)申请人广东工业大学G06N3/04(2006.01)地址510062广东省广州市越秀区东风东路729号(72)发明人潘丹罗琳曾安廖清青杨宝瑶张逸群(74)专利代理机构广州粤高专利商标代理有限公司44102专利代理师刘俊(51)Int.Cl.G06V10/26(2022.01)G06V10/30(2022.01)G06V10/80(2022.01)G06V10/776(2022.01)权利要求书3页说明书12页附图5页(54)发明名称一种基于多头两级注意力的三维点云语义分割方法及系统(57)摘要本发明提出了一种基于多头两级注意力的三维点云语义分割方法及系统，包括：获取植株2D序列图像并进行三维重建，获得植株的3D点云；对植株的3D点云数据进行预处理和手工标注；此外，考虑到植物结构形态的复杂性，基于注意力机制构建了一个多头两级注意力语义分割网络，用于分层地获取点云的几何特征并直接从完整标注的点云数据中预测每点的语义标签，最终得到植株器官的分割结果。本发明提出的一种基于多头两级注意力的三维点云语义分割方法及系统，通过构建语义分割网络，从而在农业领域提出了一种基于数据驱动的端到端，直接处理无序3D点云的深度学习模型，能自动高效地对植物三维点云进行器官级分割。CN114792372ACN114792372A权利要求书1/3页1.一种基于多头两级注意力的三维点云语义分割方法，其特征在于，包括以下步骤：S1：构建图像采集平台，通过相机获取高精度和多角度的植株2D序列图像；S2：根据采集到的植株2D序列图像进行三维重建，获得植株的3D点云；S3：对植株的3D点云进行预处理和人工标注，得到标注的点云；S4：构建多头两级注意力的三维点云语义分割网络，将标注的点云作为输入，由三维点云语义分割网络进行语义标签预测，完成三维点云语义的分割。2.根据权利要求1所述的一种基于多头两级注意力的三维点云语义分割方法，其特征在于，所述步骤S2具体包括以下步骤：S21：采用尺度不变特征变换算子从植株2D序列图像上提取特征点，并使用最近领域搜索算法，建立K维空间二叉树模型，通过K维空间二叉树模型计算每两幅植株2D序列图像特征点之间的欧式距离进行特征点的立体匹配，得到匹配点；S22：采用一致性算法求解相机姿态，并对匹配点进行筛选，提出错误或离群的匹配点；S23：基于得到的相机姿态，使用三角测量算法恢复匹配点所对应的三维点坐标，再通过光束平差算法对相机姿态和三维点坐标进行迭代优化得到稀疏点云；S24：采用CMVS和PMVS算法对稀疏点云的特征点周围像素进行扩展，形成稠密点云，即获得植株的3D点云。3.根据权利要求1所述的一种基于多头两级注意力的三维点云语义分割方法，其特征在于，在所述步骤S3中，所述预处理具体包括背景去除过程和点云滤波过程；其中：在背景去除过程中，对步骤S2得到的植株的3D点云，以颜色特征为不同依据，使用基于颜色阈值的方法，利用RGB通道提取出绿色植株点云和红色纸片点云，将点云的无关背景部分去除；接着，在点云滤波过程中，使用PCL点云库中的StatisticalOutlierRemoval对无关背景部分去除后的点云进行滤波处理，具体过程为：遍历点云中所有的点数据，计算每一个点与其最近的K个近邻点之间的平均距离；接着计算所有平均距离的均值和标准差；此处假设有一个正态分布，其形状是由均值和标准差决定的，因而定义为平均距离超过阈值的点为离群值，则距离阈值threshold具体计算公式为：其中，是一个常数；最后再次遍历所有点云，移除与K个近邻点的平均距离大于距离阈值threshold的点。4.根据权利要求3所述的一种基于多头两级注意力的三维点云语义分割方法，其特征在于，在所述步骤S3中，所述人工标注具体为：将需要人工标注的点云输入软件中，采用其分割工具对点云进行语义分割标注过程，为点云中的每个点都分配叶子、茎或非植物三类中的一种类别标签，从而完成人工标注。5.根据权利要求4所述的一种基于多头两级注意力的三维点云语义分割方法，其特征在于，在所述步骤S4中，所述三维点云语义分割网络采用编码器‑解码器结构，具体执行以下步骤：S41：将人工标注后的点云输入到语义分割网络中，由一个完全连接层对点云进行升维2CN114792372A权利要求书2/3页操作；S42：将升维后的点云通过四个编码器进行编码，逐步减少点云的个数并增加每个点云的维度；每个编码器由一个下采样模块和