基于深度学习的单帧图像三维模型表面重建方法.pdf

(19)中华人民共和国国家知识产权局(12)发明专利申请(10)申请公布号CN110288695A(43)申请公布日2019.09.27(21)申请号201910509313.2(22)申请日2019.06.13(71)申请人电子科技大学地址611731四川省成都市高新区（西区）西源大道2006号(72)发明人杨路杨经纶李佑华(74)专利代理机构成都禾创知家知识产权代理有限公司51284代理人裴娟(51)Int.Cl.G06T17/00(2006.01)G06T15/00(2011.01)G06T19/20(2011.01)G06N3/04(2006.01)G06N3/08(2006.01)权利要求书2页说明书6页附图2页(54)发明名称基于深度学习的单帧图像三维模型表面重建方法(57)摘要本发明提供了一种基于深度学习的单帧图像三维模型表面重建方法，包括步骤：对CAD模型进行采样与渲染，生成模型真实形状点云与不同视点不同距离下的单帧图像；通过卷积神经网络对图像进行特征提取，获得二维图像的高层语义；将获得的高层语义通过全连接神经网络模块转化为三维重建阶段NURBS曲面变化所需要的控制点坐标与权值参数；利用得到的控制点坐标与权值参数对初始化的NURBS模型进行更新，逐步进行三维重建；训练深度学习模型，将训练样本输入深度学习模型自动训练，得到最优模型参数，完成三维重建。本发明能够简单高效地对单帧图像进行三维重建，重建的三维模型具有细节丰富、表面流畅和整体良好的特点。CN110288695ACN110288695A权利要求书1/2页1.一种基于深度学习的单帧图像三维模型表面重建方法，其特征在于，包括以下步骤：步骤一：对CAD模型进行采样与渲染，生成模型真实形状点云与不同视点不同距离下的单帧图像；步骤二：通过卷积神经网络对图像进行特征提取，获得二维图像的高层语义；步骤三：将获得的高层语义通过全连接神经网络模块转化为三维重建阶段NURBS曲面变化所需要的控制点坐标与权值参数；步骤四：利用得到的控制点坐标与权值参数对初始化的NURBS模型进行更新，逐步进行三维重建；步骤五：训练深度学习模型，将训练样本输入深度学习模型自动训练，得到最优模型参数，完成三维重建。2.如权利要求1所述的基于深度学习的单帧图像三维模型表面重建方法，其特征在于，在步骤一中，采用OpenGL对CAD模型进行采样与渲染，生成训练样本。3.如权利要求2所述的基于深度学习的单帧图像三维模型表面重建方法，其特征在于，在步骤二中，对每个训练样本的图像都使用相同的VGG16模型进行高层语义提取，即通过下式对每个训练样本的输入图像进行特征提取：式中，N为正整数；表示第n个类别中第i个CAD训练样本中第j张图片所产生的高层语义；ExtractVGG16表示VGG16特征提取网络；表示第n个类别中第i个CAD训练样本中第j张图片。4.如权利要求3所述的基于深度学习的单帧图像三维模型表面重建方法，其特征在于，在步骤二中，ExtractVGG16包括输入层、卷积层、池化层以及输出层，对卷积层输出结果进行非线性修正；卷积层之间或卷积层与输入层之间关系如下式：式中，Conv(i,j)表示第k卷积层中i行j列的数据，Wk-1,k(m,n)表示第k-1卷积层到第k卷积层的卷积核中第m行n列的数据，bk-1,k表示第k-1个隐含层向第k个隐含层的线性单元的链接偏置；I表示输入层的输入图片，Wi,k(m,n)表示输入层向第k个隐含层的线性单元的链接权重，bi,k表示输入层向第k个隐含层的线性单元的链接偏置；ReLU对每层卷积层输出结果进行非线性修正，其式为：池化层的输入与输出之间关系如下公式：Pool(i,j)＝maxm,nI(i+m,i+n)Pool为池化层输出结果，I为输入语义，池化层取输入数据局部区域的最大值。5.如权利要求1所述的基于深度学习的单帧图像三维模型表面重建方法，其特征在于，2CN110288695A权利要求书2/2页所述步骤四具体为：NURBS模型初始化：初始化控制点作为作用对象，每个控制点都有坐标(x,y,z)和权重w；NURBS三维模型重建：利用得到的NURBS变化所需要的控制点坐标和权重参数对初始模型进行更新，得到目标三维模型；初始化与模型更新如下式所示：其中，C(μ,v)代表每个区间内形状函数；wi代表控制点的权重，Ci即(xi,yi,zi)代表控制点的坐标；Ni,d(μ)代表区间函数，μ,v代表曲面不同方向的区间节点，n代表区间总数，对应n+1区间节点，d代表区间函数的阶数。6.如权利要求1所述的基于深度学习的单帧图像三维模型表面重建方法，其特征在于，所述步骤五具体为：在前向传播过程中，网络卷积核与特征图进行点积计算，逐步得到高层语义，全连接神经网络模块对高层语义进行回归得