一种基于单张图像的三维网格模型生成方法及装置.pdf

(19)中华人民共和国国家知识产权局(12)发明专利申请(10)申请公布号CN110443892A(43)申请公布日2019.11.12(21)申请号201910675788.9(22)申请日2019.07.25(71)申请人北京大学地址100871北京市海淀区颐和园路5号(72)发明人连宙辉孙笑肖建国(74)专利代理机构北京万象新悦知识产权代理有限公司11360代理人黄凤茹(51)Int.Cl.G06T17/20(2006.01)G06T19/20(2011.01)G06T7/13(2017.01)权利要求书2页说明书5页附图2页(54)发明名称一种基于单张图像的三维网格模型生成方法及装置(57)摘要本发明公布了一种基于单张图像的三维网格模型重建方法及装置，单张图像可为自然图像或物体的轮廓图，根据用户提供的单张图像，完全自动化地生成与之形状匹配一致的三维模型。包括：语义分割、前景提取、形状特征提取、视角预测、三维模型训练、点云封装表面网格，从而重建生成三维网格模型。本发明能够极大地加快三维模型设计的时间，使得设计三维模型时只需在生成的三维模型的基础上精修即可得到目标模型。CN110443892ACN110443892A权利要求书1/2页1.一种基于单张图像的三维网格模型生成方法，包括如下步骤：第一步，对给定的图像，利用语义分割网络提取图像中物体的轮廓图，将图像前景的物体轮廓与背景分开；第二步，对物体的轮廓图进行二值化，将物体部分设置为1，背景部分设置为0；第三步，根据轮廓图自动生成表示三维网格模型的几何图；包括如下步骤：31)利用形状特征提取网络提取轮廓图中物体的形状特征；利用视角估计网络估计轮廓图对应的视角特征，损失函数为图像的预测相机位置与真实相机位置之间的欧式距离Lvp；设定三维模型置于三维坐标系的原点位置，且相机的镜头对准原点，只预测相机的位置坐标x,y,z，作为轮廓图的视角特征；32)将步骤31)得到的形状特征和视角特征沿着特征图通道维度进行拼接，采用几何图作为表示三维模型的格式，几何图的维度为W×H×3，包含W×H个点的三维坐标信息；由几何图表示W×H个顶点的初始单位球，将初始单位球送到包含多个残差模块的三维模型形变网络，指导一个初始单位球进行形变；33)采用由粗糙到精细的训练策略进行训练，将表示初始单位球的几何图通过三维模型形变网络进行形变和顶点增广，逐步获得优化的三维网格模型；形变通过优化生成点云坐标的误差函数，自动调整坐标的值；顶点增广将顶点的个数扩大，得到更高分辨率的几何图；优化的损失函数包括：定义在三维网格模型上的损失Lmesh、对抗训练的损失函数LGAN和轮廓重构损失Lsil，采用由粗糙到精细的训练策略进行模型训练，获得优化的三维网格模型；第四步，连接几何图中相邻的点，构成三角面片，折叠生成三维模型；对于几何图中相邻的四个点组成的矩形，连接四条边和其中一条对角线，得到两个三角面片；对几何图中任意相邻的四个点均进行连接，即恢复出三维网格模型的面片结构；通过上述步骤，即可实现基于单张图像生成三维网格模型。2.如权利要求1所述基于单张图像的三维网格模型生成方法，其特征是，第一步中，所述语义分割网络采用Deeplabv3+。3.如权利要求1所述基于单张图像的三维网格模型生成方法，其特征是，步骤31)中，所述形状特征提取网络包含三个残差模块和两个卷积操作，将二值化的轮廓图作为输入图像，将输入图像压缩至设定维度的特征空间；所述视角估计网络采用VGG网络，损失函数为图像的预测相机位置与真实相机位置之间的欧式距离。4.如权利要求1所述基于单张图像的三维网格模型生成方法，其特征是，步骤32)中，几何图的维度与图像RGB图一致，维度W×H为16×16；所述初始单位球包含256个顶点。5.如权利要求1所述基于单张图像的三维网格模型生成方法，其特征是，步骤33)中，形变具体采用多个堆积的残差模块改变顶点的坐标，通过优化生成点云坐标的误差函数，自动调整坐标的值；顶点增广具体通过反卷积和双线性插值，将顶点的个数扩大，得到更高分辨率的几何图，表示包含更多倍的个数的顶点的精细三维网格模型。6.如权利要求1所述基于单张图像的三维网格模型生成方法，其特征是，步骤33)在优化时，先优化生成分辨率为16×16的几何图的网络，再采用由粗糙到精细的训练策略进行2CN110443892A权利要求书2/2页顶点增广，分辨率为16×16的几何图通过反卷积和双线性插值，将顶点的个数扩大为原来的四倍，得到分辨率为32×32的几何图；再进行顶点增广得到64×64的几何图。7.如权利要求1所述基于单张图像的三维网格模型生成方法，其特征是，步骤33)采用由粗糙到精细的训练策略训练网络时，利用生成的三维点云重构物体轮廓图，并采用多个损失函数及对抗训练方式；包括：