基于隐式模板映射的单视图车辆重建方法和装置.pdf

(19)中华人民共和国国家知识产权局(12)发明专利申请(10)申请公布号CN113160382A(43)申请公布日2021.07.23(21)申请号202110309292.7(22)申请日2021.03.23(71)申请人清华大学地址100084北京市海淀区清华园(72)发明人刘烨斌赵笑晨于涛(74)专利代理机构北京清亦华知识产权代理事务所(普通合伙)11201代理人韩海花(51)Int.Cl.G06T17/00(2006.01)G06T15/00(2011.01)G06K9/46(2006.01)G06N3/04(2006.01)G06N3/08(2006.01)权利要求书2页说明书8页附图1页(54)发明名称基于隐式模板映射的单视图车辆重建方法和装置(57)摘要本申请提出一种基于隐式模板映射的单视图车辆重建方法和装置，涉及计算机视觉中的三维重建技术领域，方法包括：对获取三维车辆模型数据库中每个原始三维车辆模型进行随机纹理赋值获取三维带纹理车辆模型；对三维带纹理车辆模型进行渲染获取原始图片数据集，对每个原始三维车辆模型提取符号距离场；将原始图片数据集和符号距离场输入网络模型进行训练获取输出彩色图片，对输出彩色图片和原始渲染彩色图片进行计算调整网络模型的网络参数，获取已训练的网络模型；获取待处理车辆彩色图片输入已训练的网络模型获取车辆网格模型。由此，只需要使用渲染得到的虚拟数据库，基于隐式模板映射的生成式对抗网络在预测车辆几何结构的同时获得纹理特征。CN113160382ACN113160382A权利要求书1/2页1.一种基于隐式模板映射的单视图车辆重建方法，其特征在于，包括:获取不同类型车辆的三维车辆模型数据库，对所述三维车辆模型数据库中每个原始三维车辆模型的不同部件进行随机纹理赋值，获取三维带纹理车辆模型；对所述三维带纹理车辆模型在多个不同场景下进行渲染，获取原始图片数据集，并对所述每个原始三维车辆模型进行处理，提取符号距离场；将所述原始图片数据集和所述符号距离场输入网络模型进行训练，获取输出彩色图片，并通过能量函数对所述输出彩色图片和原始渲染彩色图片进行计算，调整所述网络模型的网络参数，获取已训练的网络模型；获取待处理车辆彩色图片输入所述已训练的网络模型，获取车辆网格模型。2.如权利要求1所述的方法，其特征在于，所述获取不同类型车辆的三维车辆模型数据库，包括：对所述不同类型车辆进行三维建模，获取所述三维车辆模型数据库。3.如权利要求1所述的方法，其特征在于，所述对所述三维带纹理车辆模型在多个不同场景下进行渲染，获取原始图片数据集，包括：对所述三维带纹理车辆模型在不同视角，不同光照条件下进行渲染，获取多个渲染彩色图片作为所述原始图片数据集。4.如权利要求1所述的方法，其特征在于，还包括：获取所述原始图片数据集中每张原始图片对应的深度图片和相机内外参数；将所述深度图片、所述相机内外参数和所述符号距离场作为所述网络模型训练的原始数据。5.如权利要求4所述的方法，其特征在于，所述将所述原始图片数据集和所述符号距离场输入网络模型进行训练，获取输出彩色图片，并通过能量函数对所述输出彩色图片和原始渲染彩色图片进行计算，调整所述网络模型的网络参数，获取已训练的网络模型，包括：搭建编码器解码器网络，其中，所述编码器解码器网络包含隐式模板映射网络；将所述编码器解码器网络的输出彩色图片和原始渲染彩色图片输入监督网络，约束所述监督网络逐卷积层提取的特征图满足预设条件；利用构建的带纹理模型数据库和所述能量函数对生成式对抗神经网络中的生成器和鉴别器的参数权重进行迭代回归优化，直至权重收敛，获取所述已训练的网络模型。6.一种基于隐式模板映射的单视图车辆重建装置，其特征在于，包括:第一获取模块，用于获取不同类型车辆的三维车辆模型数据库；第二获取模块，用于对所述三维车辆模型数据库中每个原始三维车辆模型的不同部件进行随机纹理赋值，获取三维带纹理车辆模型；获取提取模块，用于对所述三维带纹理车辆模型在多个不同场景下进行渲染，获取原始图片数据集，并对所述每个原始三维车辆模型进行处理，提取符号距离场；训练模块，用于将所述原始图片数据集和所述符号距离场输入网络模型进行训练，获取输出彩色图片，并通过能量函数对所述输出彩色图片和原始渲染彩色图片进行计算，调整所述网络模型的网络参数，获取已训练的网络模型；处理模块，用于获取待处理车辆彩色图片输入所述已训练的网络模型，获取车辆网格模型。2CN113160382A权利要求书2/2页7.如权利要求6所述的装置，其特征在于，所述第一获取模块，具体用于：对所述不同类型车辆进行三维建模，获取所述三维车辆模型数据库。8.如权利要求6所述的装置，其特征在于，所述第二获取模块，具体用于：对所述三维带纹理车辆模型在不同视角，不同光照条件下