一种基于深度学习的自适应扰动点云上采样方法.pdf

(19)中华人民共和国国家知识产权局(12)发明专利申请(10)申请公布号CN112348959A(43)申请公布日2021.02.09(21)申请号202011321220.6(22)申请日2020.11.23(71)申请人杭州师范大学地址311121浙江省杭州市余杭区余杭塘路2318号(72)发明人潘志庚邱驰丁丹丹(74)专利代理机构杭州天勤知识产权代理有限公司33224代理人颜果(51)Int.Cl.G06T17/20(2006.01)G06N3/04(2006.01)权利要求书2页说明书4页附图3页(54)发明名称一种基于深度学习的自适应扰动点云上采样方法(57)摘要本发明涉及一种基于深度学习的自适应扰动点云上采样方法，属于计算机图形三维视觉技术领域。将需要进行上采样的稀疏有噪音的点云输入至上采样模型，进行上采样操作，得到干净密集均匀的上采样点云。第一阶段，将低分辨率点云文件训练集输入至网络，进行点云的特征提取；第二阶段，将提取得到的点云特征通过自适应扰动层得到2D自适应扰动值，并连接至进行了多份复制后的点云特征后；第三阶段，连接后的点云特征再次送入自适应残差层得到残差值，再连接至多份复制后的点云特征，多次卷积后得到上采样点云。该模型复杂度低，模型尺寸小，在上采样点云的均匀性和复现几何结构上都取得了很好的效果，可以用于点云模型的补全，渲染和重建等三维场景。CN112348959ACN112348959A权利要求书1/2页1.一种基于深度学习的自适应扰动点云上采样方法，其特征在于，包括将需要进行上采样的稀疏有噪音的点云文件输入至上采样模型，进行上采样操作，得到干净密集均匀的上采样点云；所述上采样模型通过以下学习过程得到：1)将原始稀疏点云N×3输入神经网络，其中，N为点云中点的数量，3为每个点的欧式空间坐标；2)对N×3的点云进行基于稠密卷积网络的简单密集连接的特征提取，得到输入点云特征值N×Cl；3)将步骤2)得到的点云特征值N×Cl输入自适应扰动层，得到N×2的二维自适应随机扰动值，根据点云上采样倍数的需求重复此步骤r次，得到rN×2的扰动值；4)将点云特征值N×Cl复制r份，得到rN×Cl，每份连接步骤3)的N×2扰动值，得到rN×(Cl+2)的上采样点云隐式空间特征值，使用自注意机制单元对该特征值进行非局部特征增强后，再经过自适应残差层得到rN×3的自适应残差值；5)将rN×Cl与rN×3的残差值进行连接，再使用一次自注意机制单元进行非局部特征增强后，进行3次卷积得到最终的上采样点云；6)将步骤5)得到的上采样点云和对应的正确标注点云进行对比，得到损失函数值后，对网络参数进行反向优化；7)重复步骤1)～6)，直到模型收敛，得到上采样模型。2.根据权利要求1所述的基于深度学习的自适应扰动点云上采样方法，其特征在于，步骤2)中，所述的基于稠密卷积网络的简单密集连接的特征提取过程包括：2-1)对N×3的点云进行一次卷积得到隐式空间中的特征值N×C，并将特征值送入稠密卷积网络进行细粒度的特征提取，得到特征值N×G；2-2)将步骤2-1)得到的特征值N×G与N×C进行特征维度的连接得到N×(G+C)；2-3)重复步骤2-1)和2-2)，得到点云特征值N×(G'+G+C)后，再进行一次卷积得到点云特征值N×Cl。3.根据权利要求2所述的基于深度学习的自适应扰动点云上采样方法，其特征在于，步骤2-1)中，稠密卷积网络进行细粒度的特征提取的过程如下：2-1-1)已知输入特征N×C，对C维隐式空间中的N个点均进行k最近邻搜索，搜索距离为隐式空间中C维空间的欧氏距离，并得到每个点和其k个最近邻点的索引值；2-1-2)根据索引计算每个点和k个最近邻点的C维空间的欧氏距离Crelative得到N×k×Crelative，每个点的特征值复制k份得到N×k×C，连接得到基于每个点的点簇特征值N×k×(C+Crelative)；2-1-3)对点簇特征值再进行一次卷积后和复制k份的N×C连接得到特征值N×k×(C'+C)，得到的N×k×(C'+C)进行一次卷积得到N×k×C”，并与特征值N×k×(C'+C)进行连接后，使用最大池化操作即得到输出特征值N×G。4.根据权利要求1所述的基于深度学习的自适应扰动点云上采样方法，其特征在于，步骤3)中，使用自适应扰动层得到二维自适应随机扰动值的过程如下：3-1)将点云特征值N×Cl首先进行一次卷积，得到N×C′l的点云扰动特征值；2CN112348959A权利要求书2/2页3-2)对N×C′l再进行一次卷积，通道数为第一次的一半，得到的点云扰动特征值；3-3)将的扰动特征值再进行一次卷积，通道数为2，进而得到N×2的二维自适应随机扰动；根据点云加密倍数的需求重复步骤3-1)到步骤3-3)r次，每次使用不