基于单帧RGBD图像的实时三维人体重建方法及系统.pdf

(19)中华人民共和国国家知识产权局(12)发明专利申请(10)申请公布号CN111476884A(43)申请公布日2020.07.31(21)申请号202010239613.6G06K9/62(2006.01)(22)申请日2020.03.30(71)申请人清华大学地址100084北京市海淀区清华园(72)发明人刘烨斌王立祯赵笑晨于涛戴琼海(74)专利代理机构北京清亦华知识产权代理事务所(普通合伙)11201代理人王艳斌(51)Int.Cl.G06T17/00(2006.01)G06T7/55(2017.01)G06T15/20(2011.01)G06N3/04(2006.01)G06N3/08(2006.01)权利要求书2页说明书7页附图3页(54)发明名称基于单帧RGBD图像的实时三维人体重建方法及系统(57)摘要本发明公开了一种基于单帧RGBD图像的实时三维人体重建方法及系统，其中，方法包括：将渲染后的数据集作为训练训练数据，并训练得到负责正面深度图优化的Gdf网络、正面彩色图像去光照的Gcf网络、预测背面深度图的Gdb网络和预测背面彩色图像的Gcd网络；将当前RGBD图像转换到正交视角下以输入到Gdf和Gcf网络中，得到优化和去光照后的正面图像，将正面图像输入到Gdb和Gcb网络中得到预测后的背面图像，并利用正面和背面图像将像素点投影到三维空间中得到带颜色的三维点集，并且将带颜色的三维点集按照邻接拓扑关系连接成带纹理的三维人体模型。该方法利用深度相机采集的RGBD图片精细且快速地进行人体的三维重建。CN111476884ACN111476884A权利要求书1/2页1.一种基于单帧RGBD图像的实时三维人体重建方法，其特征在于，包括以下步骤：利用采集到的三维人体模型渲染包含RGBD图像的数据集；将所述数据集为训练训练数据，利用U-Net深度卷积神经网络结构和生成对抗网络结构得到负责正面深度图优化的Gdf网络、正面彩色图像去光照的Gcf网络、预测背面深度图的Gdb网络和预测背面彩色图像的Gcd网络；采集当前RGBD图像，并将所述当前RGBD图像转换到正交视角下以输入到所述Gdf网络和所述Gcf网络中，得到优化和去光照后的正面RGBD图像，将所述正面RGBD图像输入到所述Gdb网络和所述Gcb网络中，得到预测后的背面RGBD图像，并利用所述正面RGBD图像和所述背面RGBD图像将像素点投影到三维空间中得到带颜色的三维点集，并且将所述带颜色的三维点集按照邻接拓扑关系连接成带纹理的三维人体模型。2.根据权利要求1所述的方法，其特征在于，所述利用采集到的三维人体模型渲染包含RGBD图像的数据集，包括：加入随机光照的同时，模拟深度相机噪声，并同时渲染出透视投影下的RGBD输入图像和正交投影下的RGBD真值图像。3.根据权利要求1所述的方法，其特征在于，所述将所述数据集为训练训练数据，利用U-Net深度卷积神经网络结构和生成对抗网络结构得到负责正面深度图优化的Gdf网络、正面彩色图像去光照的Gcf网络、预测背面深度图的Gdb网络和预测背面彩色图像的Gcd网络，包括：所述Gcf网络、所述Gdf网络、所述Gdb网络和所述Gcb网络采用预设适合进行图像到图像变换的卷积神经网络结构U-Net；所述Gdf网络、所述Gdb网络和所述Gcb网络利用GAN结构增强神经网络的优化和预测能力，其中，所述Gdf网络、所述Gdb网络对应的判别器Fdf、判别器Fdb均以由深度图得到的法向图作为输入，而与所述Gcb网络对应的判别器Fcb则以输出的背面彩色图像作为输入；所述Gcf网络中引入从正面深度图中的光照球谐函数分量，以去除光照。4.根据权利要求1所述的方法，其特征在于，所述采集当前RGBD图像，并将所述当前RGBD图像转换到正交视角下以输入到所述Gdf网络和所述Gcf网络中，得到优化和去光照后的正面RGBD图像，将所述正面RGBD图像输入到所述Gdb网络和所述Gcb网络中，得到预测后的背面RGBD图像，并利用所述正面RGBD图像和所述背面RGBD图像将像素点投影到三维空间中得到带颜色的三维点集，并且将所述带颜色的三维点集按照邻接拓扑关系连接成带纹理的三维人体模型，包括：将所述正交投影下的当前RGBD图像为输入，利用预先训练过的所述Gdf网络得到补全和去噪后的正面深度图，同时利用预先训练过的所述Gcf网络得到去光照后的正面彩色图；将述优化后的正面RGBD图像为输入，利用预先训练过的所述Gdb网络和Gcb网络分别得到预测出的背面深度图和背面彩色图；利用所述正面RGBD图像和所述背面RGBD图像，将像素点投影到三维空间中，得到带颜色的三维点云；利用所述三维点云在原始二维图像中的邻接关系，将相邻三维点连接成三角面片，得到所述三维人体模型。5.一种基于单帧RGBD图