一种基于多视角深度相机的三维人像实时重建及渲染方法.pdf

(19)中华人民共和国国家知识产权局(12)发明专利申请(10)申请公布号CN112348957A(43)申请公布日2021.02.09(21)申请号202011225534.6(22)申请日2020.11.05(71)申请人上海影创信息科技有限公司地址200120上海市浦东新区高行镇洲海路1068号(72)发明人徐迪王凯毛文涛孙立张旭李臻(74)专利代理机构北京世誉鑫诚专利代理有限公司11368代理人孙国栋(51)Int.Cl.G06T17/20(2006.01)G06T15/00(2011.01)G06N3/04(2006.01)权利要求书1页说明书4页(54)发明名称一种基于多视角深度相机的三维人像实时重建及渲染方法(57)摘要本发明公开的基于多视角深度相机的三维人像实时重建及渲染方法，涉及计算机视觉领域，通过对多个相机进行标定，得到多个相机之间的相对位姿并根据相对位姿，将多个相机输出的深度信息转置于统一的三维坐标系之内，形成点云，分别判断各个体素是否被点云占据，若是，则根据相对位姿及预先创建的人像掩膜，分别为各个体素构建基于截断的符号距离函数，对各个体素对应的基于截断的符号距离函数进行加权平均并利用点云网格化算法，得到人体三维网格，对颜色信息进行加权平均，得到携带颜色信息的人体三维网格，将人体三维网格输入预先构建的对抗神经网络对人体三维网格进行渲染，得到相应的二维人像，实现了三维人像的实时捕捉，提升了成像质量。CN112348957ACN112348957A权利要求书1/1页1.一种基于多视角深度相机的三维人像实时重建及渲染方法，其特征在于，包括：对多个相机进行标定，得到所述多个相机之间的相对位姿并根据所述相对位姿，构建统一的三维坐标系；在所述三维坐标系内划分多个体素，将所述多个相机输出的深度信息转置于统一的三维坐标系之内，形成点云；分别判断各个体素是否被所述点云占据，若是，则根据所述相对位姿及预先创建的人像掩膜，分别为各个体素构建基于截断的符号距离函数；对各个体素对应的基于截断的符号距离函数进行加权平均并利用点云网格化算法，得到人体三维网格；根据所述相对位姿构建uv贴图，将各个相机的颜色信息以贴图形式分别投影至人体三维网格上；对uv贴图出现重叠的各个区域，根据人体三维网格上的三维点与相机的夹角和距离的关系，计算权重并根据所述权重，对颜色信息进行加权平均，得到携带颜色信息的人体三维网格；将所述人体三维网格输入预先构建的对抗神经网络对所述人体三维网格进行渲染，得到相应的二维人像。2.根据权利要求1所述的基于多视角深度相机的三维人像实时重建及渲染方法，其特征在于，对多个相机进行标定，得到所述多个相机之间的相对位姿包括：使用多张标定棋盘格，将所述多张标定棋盘格垂直放置于多台相机的可见范围内，对每一张标定棋盘格，提其取角点信息及亚像素级的角点信息，根据所述角点信息及所述亚像素级的角点信息，得到所述多个相机之间的相对位姿。3.根据权利要求1所述的基于多视角深度相机的三维人像实时重建及渲染方法，其特征在于，所述人像掩膜的创建过程包括：将处于预设范围内相机的深度值的图像作为人体图像，生成软分割的第一人像掩膜。4.根据权利要求1所述的基于多视角深度相机的三维人像实时重建及渲染方法，其特征在于，所述对抗神经网络的创建过程包括：利用构架为U-Net的生成器及架构为DenseNet-121的判别器，构建第一生成对抗神经网络，其中，所述第一生成对抗神经网络的作用为视角合成；利用构架为U-Net的生成器与超分辨率卷积层的组合、5层卷积神经网络的判别器，构建第二生成对抗神经网络，其中，所述第二生成对抗神经网络的作用是图像增强。5.根据权利要求3所述的基于多视角深度相机的三维人像实时重建及渲染方法，其特征在于，在生成软分割的第一人像掩膜之后，所述方法还包括：采用主动轮廓模型算法对所述第一人像掩膜进行优化，得到第二人像掩膜。6.一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现如权利要求1-5所述的步骤。2CN112348957A说明书1/4页一种基于多视角深度相机的三维人像实时重建及渲染方法技术领域[0001]本发明涉及计算机视觉领域，具体涉及一种基于多视角深度相机的三维人像实时重建及渲染方法。背景技术[0002]目前众多三维全身人像容积拍摄系统主要采用2类方案，一类采用高清彩色相机，缺乏深度信息，依靠传统的特征点匹配方法计算量巨大，难以达到实时；一类采用深度相机，但是未能解决深度相机对黑色物体和结构较细的物体深度成像差的问题，导致质量较低。[0003]因此，现有技术未能有效地解决三维人像的实时捕捉及高质量渲染问题。发明内容[0004]为解决现有技术的不足，本发明实施例提