基于单张RGBD图像的人体三维重建方法及系统.pdf

(19)中华人民共和国国家知识产权局(12)发明专利申请(10)申请公布号CN112330795A(43)申请公布日2021.02.05(21)申请号202011080171.1(22)申请日2020.10.10(71)申请人清华大学地址100084北京市海淀区清华园(72)发明人刘烨斌李哲于涛王松涛戴琼海(74)专利代理机构北京清亦华知识产权代理事务所(普通合伙)11201代理人张大威(51)Int.Cl.G06T17/00(2006.01)G06N3/04(2006.01)G06N3/08(2006.01)权利要求书2页说明书6页附图1页(54)发明名称基于单张RGBD图像的人体三维重建方法及系统(57)摘要本发明公开了一种基于单张RGBD图像的人体三维重建方法及系统，其中，该方法包括：利用深度相机拍摄单张RGBD图像；过高质量人体三维模型渲染出单张RGBD图像并对空间点进行采样得到训练数据；搭建神经网络并使用训练数据进行训练；将单张RGBD测试图像输入训练后的神经网络中进行测试，生成人体三维模型。该方法通过隐式函数表示，建立了一个端到端的神经网络，通过有监督学习，便能够推断出人体以及衣服的几何细节，相较于其他传统重建方法具有简单、便捷的特点。CN112330795ACN112330795A权利要求书1/2页1.一种基于单张RGBD图像的人体三维重建方法，其特征在于，包括以下步骤：S1，利用深度相机拍摄单张RGBD图像；S2，通过高质量人体三维模型渲染出所述单张RGBD图像，并对空间点进行采集，以得到训练数据；S3，搭建神经网络，并使用所述训练数据对所述神经网络进行训练；以及S4，将单张RGBD测试图像输入训练后的神经网络中进行测试，得到人体三维模型。2.根据权利要求1所述的基于单张RGBD图像的人体三维重建方法，其特征在于，所述步骤S2中，采用空间均匀采集和自适应采样相结合的方式采集所述渲染后的RGBD图像的空间点。3.根据权利要求1所述的基于单张RGBD图像的人体三维重建方法，其特征在于，所述神经网络包括图像编码网络和全连接映射网络，其中，所述图像编码网络为全卷积神经网络，对所述训练数据中的RGBD四通道图像进行卷积以及反卷积，得到特征图，所述全连接映射网络为多层感知机，通过多层神经元的相互连接，将从所述特征图中采集的特征向量和z(X)级联构成的向量进行映射，得到隐式函数值，根据所述特征图、所述隐式函数值构建损失函数，通过所述损失函数优化所述神经网络，获得所述训练后的神经网络。4.根据权利要求3所述的基于单张RGBD图像的人体三维重建方法，其特征在于，所述损失函数为：其中，n为采样点总数，f(F(xi),z(Xi))为网络输出的结果，F(xi)为图像上的2D投影点x对应的特征向量，z(Xi)为X相对深度相机的深度值，gt(Xi)为Xi对应的真实值0或1。5.根据权利要求1所述的基于单张RGBD图像的人体三维重建方法，其特征在于，所述步骤S4进一步包括：利用图像编码网络将输入的所述单张RGBD测试图像编码成特征图；将所述特征图均匀划分为N×N×N的体积volume，每个小方格为一个体积元素voxel，将每个体积元素voxel输入到所述训练好的神经网络中，在所述特征图上根据其投影位置采样对应的特征向量，与所述体积元素voxel相对于深度相机的深度值一同输入到所述训练好的神经网络的全连接映射网络中，得到每个体积元素voxel对应的隐式函数值；采用等值面提取MarchingCubes方法从所述隐式函数值的体积volume中提取等值面，推断出的所述人体三维模型。6.一种基于单张RGBD图像的人体三维重建系统，其特征在于，包括：单个深度相机，用于拍摄单张RGBD图像；渲染模块，用于通过高质量人体三维模型渲染出所述单张RGBD图像，并对空间点进行采集，以得到训练数据；神经网络训练模块，用于搭建神经网络，并使用所述训练数据对所述神经网络进行训练；模型生成模块，用于将单张RGBD测试图像输入训练后的神经网络中进行测试，得到人体三维模型。2CN112330795A权利要求书2/2页7.根据权利要求6所述的基于单张RGBD图像的人体三维重建系统，其特征在于，所述渲染模块中，采用空间均匀采集和自适应采样相结合的方式采集所述渲染后的RGBD图像的空间点。8.根据权利要求6所述的基于单张RGBD图像的人体三维重建系统，其特征在于，所述神经网络包括图像编码网络和全连接映射网络，其中，所述图像编码网络为全卷积神经网络，对所述训练数据中的RGBD四通道图像进行卷积以及反卷积，得到特征图；所述全连接映射网络为多层感知机，通过多层神经元的相互连接，将从所述特征图中采集的特征向量和z(X)级联构成的向量进行映射，得到隐式函数值，并根据所述特征图、所述隐式函数