基于RGBD单视角图像人体三维重建方法及装置.pdf

(19)中华人民共和国国家知识产权局(12)发明专利申请(10)申请公布号CN110335343A(43)申请公布日2019.10.15(21)申请号201910512083.5(22)申请日2019.06.13(71)申请人清华大学地址100084北京市海淀区清华园(72)发明人刘烨斌王立祯郑泽荣戴琼海(74)专利代理机构北京清亦华知识产权代理事务所(普通合伙)11201代理人张润(51)Int.Cl.G06T17/00(2006.01)G06T7/10(2017.01)权利要求书2页说明书7页附图2页(54)发明名称基于RGBD单视角图像人体三维重建方法及装置(57)摘要本发明公开了一种基于RGBD单视角图像人体三维重建方法及装置，其中，方法包括：通过深度相机采集人体的RGBD图片，图片包括单视角彩色图片和深度图片的；根据RGBD图片分别得到三维人体模型参数、人体分割信息和二维关节点信息；根据人体分割信息、二维关节点信息和深度图片得到人体三维关节点信息，以根据人体三维关节点信息对三维人体模型的关节点和身体形状进行约束，并优化三维人体模型参数和三维人体模型；根据优化后的三维人体模型渲染深度图片，并利用单视角彩色图片对优化后的三维人体模型的正面进一步优化，以得到人体的三维重建结果。该方法可以利用深度相机采集到的单帧单视角RGBD图片信息进行人体的三维重建。CN110335343ACN110335343A权利要求书1/2页1.一种基于RGBD单视角图像人体三维重建方法，其特征在于，包括：通过深度相机采集人体的RGBD图片，其中，所述RGBD图片包括单视角彩色图片和深度图片；根据所述RGBD图片分别得到三维人体模型参数、人体分割信息和二维关节点信息；根据所述人体分割信息、所述二维关节点信息和所述深度图片得到人体三维关节点信息，以根据所述人体三维关节点信息对三维人体模型的关节点和身体形状进行约束，并优化所述三维人体模型参数和所述三维人体模型；以及根据优化后的三维人体模型渲染所述深度图片，并利用所述单视角彩色图片对所述优化后的三维人体模型的正面进一步优化，以得到所述人体的三维重建结果。2.根据权利要求1所述的方法，其特征在于，所述根据所述RGBD图片分别得到三维人体模型参数、人体分割信息和二维关节点信息，进一步包括：从所述RGBD图片中，利用开源深度学习工作HMR估计得到所述三维人体模型参数；从所述RGBD图片中，利用开源深度学习工作LookintoPerson得到所述人体分割信息；从所述RGBD图片中，利用开源深度学习工作OpenPose估计得到所述二维关节点信息。3.根据权利要求1所述的方法，其特征在于，优化所述三维人体模型参数和所述三维人体模型，进一步包括：利用高斯牛顿法优化优化所述三维人体模型参数，以得到与所述RGBD图片拟合的三维人体模型；利用所述与所述RGBD图片拟合的三维人体模型初始化三维空间，加以所述人体三维关节点信息和所述RGBD图片作为信息增益，并利用U-Net结构的卷积神经网络优化三维人体模型。4.根据权利要求1所述的方法，其特征在于，所述并利用所述单视角彩色图片对所述优化后的三维人体模型的正面进一步优化，以得到所述人体的三维重建结果，进一步包括：利用所述单视角彩色图片和从渲染中恢复三维形状的方法对所述优化后的三维人体模型的正面进一步优化，并进行三角化重建，以得到以三角面片为基本结构的三维人体模型。5.根据权利要求4所述的方法，其特征在于，在对所述优化后的三维人体模型的正面进一步优化的过程中，还包括：利用所述深度图片进行数值上的约束。6.一种基于RGBD单视角图像人体三维重建装置，其特征在于，包括：采集模块，用于通过深度相机采集人体的RGBD图片，其中，所述RGBD图片包括单视角彩色图片和深度图片；处理模块，用于根据所述RGBD图片分别得到三维人体模型参数、人体分割信息和二维关节点信息；优化模块，用于根据所述人体分割信息、所述二维关节点信息和所述深度图片得到人体三维关节点信息，以根据所述人体三维关节点信息对三维人体模型的关节点和身体形状进行约束，并优化所述三维人体模型参数和所述三维人体模型；以及重建模块，用于根据优化后的三维人体模型渲染所述深度图片，并利用所述单视角彩2CN110335343A权利要求书2/2页色图片对所述优化后的三维人体模型的正面进一步优化，以得到所述人体的三维重建结果。7.根据权利要求6所述的装置，其特征在于，所述处理模块进一步用于从所述RGBD图片中，利用开源深度学习工作HMR估计得到所述三维人体模型参数；从所述RGBD图片中，利用开源深度学习工作LookintoPerson得到所述人体分割信息；从所述RGBD图片中，利用开源深度学习工作OpenPose估计得到所述二维关节点信息。8.根据权