一种基于深度学习的单视图三维重建方法.pdf

(19)中华人民共和国国家知识产权局(12)发明专利申请(10)申请公布号CN113724361A(43)申请公布日2021.11.30(21)申请号202110965483.9(22)申请日2021.08.23(71)申请人西安工业大学地址710032陕西省西安市未央区学府中路2号(72)发明人喻钧刘亚彬胡志毅尹文彬刘昊阳(74)专利代理机构西安新思维专利商标事务所有限公司61114代理人黄秦芳(51)Int.Cl.G06T13/20(2011.01)G06T17/00(2006.01)G06N3/04(2006.01)权利要求书3页说明书7页附图3页(54)发明名称一种基于深度学习的单视图三维重建方法(57)摘要本发明公开了一种基于深度学习的单视图三维重建方法，首先对二维图像进行特征提取，并深度估计得到一个新的二维特征，把提取的二维特征与估计出的二维特征进行融合生成2×2×2尺寸的三维特征。其次，使用三线性空间上采样和三维反卷积网络分别从粗粒度和细粒度两个方面融合生成三维特征，可以较好的实现目标的三维特征重建，并且可以加快深度学习模型的收敛速度。实验结果表明，本发明模型的平均准确率比3D‑R2N2高10.7％，比Pix2Vox高0.6％，并具有较好的泛化能力。此外，在向后推理时间方面，本发明模型的重建速度比3D‑R2N2快20倍。CN113724361ACN113724361A权利要求书1/3页1.一种基于深度学习的单视图三维重建方法，其特征在于，包括以下步骤：Step1：原始数据集的构建：采集多个目标的二维图像数据，对于同一目标，使用CAD软件计算出该目标的三维体素特征，把所有的二维图像和相应的三维体素特征按照3:1的比例划分为训练集、测试集，并转化为深度模型需要的tensor数据；Step2：编码模块对上述训练集和测试集中的二维图像进行特征提取：二维特征提取网络层基于ResNet50，并在ResNet50后加入新的特征提取层M；首先，使用ResNet50把大小为128×128的二维特征依次提取为64×64、32×32、16×16、8×8、4×4的二维特征；接着，进一步使用特征提取层M进行特征提取，生成1024×2×2的二维特征F；然后通过sigmoid对所有的特征进行二分类，得到它们在二维空间上的概率P；Step3：多个二维特征融合生成三维特征：对上述Step2步骤所生成的二维特征F，使用深度估计模块得到一个新的二维特征F’，将F’与F进行融合，升维成F对应的1024×2×2×2的三维特征S；Step4：解码模块将深度估计模块生成的三维特征S通过3D解码网络生成粗糙的三维体素：该模块有4个上采样操作，每个上采样操作均使用三线性空间上采样和三维反卷积网络组合模块；Step5：校验模块采用U‑net思想，使用具有3D解码器/解码器的残差网络来对Step4生成的粗糙三维体素进行错误校正，进而生成精确的3D体素特征；Step6：对训练集重复执行步骤Step2～Step5的训练，直至整个模型收敛；Step7：利用步骤Step6训练后所获得的单视图三维重建模型参数权重，对测试集中的二维图像进行三维重建测试，生成相应的三维体素模型和准确率，以及平均准确率。将上述步骤中Step2～Step6再进一步细化，描述如下：2.根据权利要求1所述基于深度学习的单视图三维重建方法，其特征在于，步骤Step3中的深度估计模块再划分包括以下步骤：Step301：预测新的深度二维特征：把Step2提取的二维特征分别通过二个感知层网络分别生成特征大小为1024×2×2的F1、F2，然后把F1、F2和Step2中的F一同融合生成大小为3072×2×2特征F3，再对F3使用一个特征提取层生成大小为1024×2×2融合特征f，最后把f与Step2中的P相乘生成新的深度二维特征F’，计算过程如公式(1)所示：F'i＝fi×Pi(i＝1,2,...1024)(1)其中F'i表示第i个深度估计的二维特征，fi表示第i个融合二维特征，Pi表示第i个特征的二维空间概率；Step302：二维特征融合为三维特征:首先对Step3‑1中的F’与Step2中的F进行维度扩增，其次，F’和F在扩增的维度上进行融合，生成1024×2×2×2的三维基本单元S。3.根据权利要求1所述基于深度学习的单视图三维重建方法，其特征在于，步骤Step4中解码模块具体如下：解码模块将Step3生成的三维基本单元组通过3D解码网络生成粗糙的三维体素；该模块有4个上采样操作，每个上采样操作均使用三线性空间上采样和三维反卷积组合模块；即：首先得到的三维特征C分别进行3维反卷积和三线性空间上采样得到C1和C2，实现把三维2CN113724361A权利要求书2/3页特征扩增两倍，其次把C1和C2进行相加生成