一种基于双分支结构的多层级点云补全方法.pdf

(19)国家知识产权局(12)发明专利申请(10)申请公布号CN115937028A(43)申请公布日2023.04.07(21)申请号202211585208.5G06V10/80(2022.01)(22)申请日2022.12.09G06V10/82(2022.01)G06N3/0455(2023.01)(71)申请人辽宁工程技术大学G06N3/0464(2023.01)地址123000辽宁省阜新市细河区中华路G06N3/048(2023.01)47号G06N3/084(2023.01)(72)发明人王宜帆邱云飞(74)专利代理机构北京华夏正合知识产权代理事务所(普通合伙)11017专利代理师韩登营(51)Int.Cl.G06T5/00(2006.01)G06V20/64(2022.01)G06V20/70(2022.01)G06V10/42(2022.01)G06V10/44(2022.01)权利要求书1页说明书7页附图3页(54)发明名称一种基于双分支结构的多层级点云补全方法(57)摘要本发明公开了一种基于双分支结构的多层级点云补全方法，包括：利用两个独立的分支网络对输入点云进行采样和特征编码，使用共享多层感知机分别提取出点云的局部特征信息和全局特征信息；将全局特征进行扩展形成和局部特征同等大小的特征；使用五层联合感知机将特征向量映射成多个维度，进而提取多维特征信息并将其整合成最终特征向量；采用基于分形几何结构的多层级解码器，对最终特征向量进行特征解码，预测三种不同分辨率的点云。本发明能够同时在双通道上分别提取输入点云的全局特征和局部特征，并且避免了特征间的相互干扰，增强网络提取语义和几何信息的能力，将残缺点云作为输入且仅输出缺失区域的点云，为点云补全任务提供扩展性思路。CN115937028ACN115937028A权利要求书1/1页1.一种基于双分支结构的多层级点云补全方法，其特征在于，包括：步骤S1、利用两个独立的分支网络对输入点云进行采样和特征编码，使用共享多层感知机分别提取出点云的局部特征信息和全局特征信息；步骤S2、将全局特征进行扩展形成和局部特征同等大小的特征，再将两种特征进行拼接形成特征向量；步骤S3、使用五层联合感知机将特征向量映射成多个维度，进而提取多维特征信息并将其整合成最终特征向量；步骤S4、采用基于分形几何结构的多层级解码器，对最终特征向量进行特征解码，预测三种不同分辨率的点云。2.根据权利要求1所述的基于双分支结构的多层级点云补全方法，其特征在于，在所述步骤S1中，PointNet用于全局特征的提取，PointNet++负责局部特征的提取，由二者共同构成双分支结构的编码器，其独立的双通道模式能够有效避免提取过程中不同特征间的相互干扰，为解码阶段提供充分且全面的特征信息。3.根据权利要求1所述的基于双分支结构的多层级点云补全方法，其特征在于，所述步骤S3中的具体过程如下：步骤31：对MLP最后三层{64,128,256}进行Maxpooling操作得到特征向量；步骤32：连接特征向量经过三层全连接层{256,128,16,1},同时采用Linear；步骤33：最后通过sigmoid分类器预测真假点云，输出Real/Fake。4.根据权利要求1所述的基于双分支结构的多层级点云补全方法，其特征在于，在所述步骤S4中，多层级解码器的具体解码过程如下：步骤41：将最终特征向量V作为输入，目标输出N×3点云；步骤42：最终特征向量V通过线性变换和三层全连接层获得三个子特征向量，每层的特征向量负责以不同的分辨率预测点云，其大小为{256,512,1024}；步骤43：遵循自顶向下的顺序，上层将低层级的信息逐级传递给下层用来补充语义信息用于更密集点云的预测；步骤44：特征向量在每层采用Convolution和Linear操作并在各个层级间采取用扩展、添加操作和尺寸调整来实现形状补全过程。2CN115937028A说明书1/7页一种基于双分支结构的多层级点云补全方法技术领域[0001]本发明属于视觉处理的技术领域，尤其涉及一种基于双分支结构的多层级点云补全方法。背景技术[0002]三维视觉已成为当前研究的热点之一。在各种类型的三维数据描述中，点云由于其数据量小且呈现能力强而被广泛应用于三维数据处理中，近期关于点云的研究与应用如点云分类、配准、分割等发展迅速。现实世界的点云数据通常是通过激光扫描仪、立体相机或低成本RGB‑D扫描仪获取的。但是，由于遮挡、光线反射、表面材料的透明度以及传感器分辨率和视角的限制，会造成几何和语义信息的丢失，导致点云不完整。因此，对不完整点云进行修复是进一步应用的重要任务。点云补全任务直接从输入的残缺、稀疏点云出发，通常利用深度神经网络模型学习点云的特征分布，然后预测点云中缺失的部分，