实时三维人体重建的纹理渲染方法、系统、芯片、设备和介质.pdf

(19)中华人民共和国国家知识产权局(12)发明专利申请(10)申请公布号CN111243071A(43)申请公布日2020.06.05(21)申请号202010020056.9(22)申请日2020.01.08(71)申请人叠境数字科技（上海）有限公司地址201210上海市浦东新区环科路515号1幢1402-1403室(72)发明人杨文康朱煜张迎梁(74)专利代理机构上海精晟知识产权代理有限公司31253代理人李艳梅(51)Int.Cl.G06T15/00(2011.01)G06T15/04(2011.01)G06T15/50(2011.01)G06T13/40(2011.01)权利要求书1页说明书8页附图3页(54)发明名称实时三维人体重建的纹理渲染方法、系统、芯片、设备和介质(57)摘要实时三维人体重建的纹理渲染方法、系统、芯片、设备和介质，方法包括：获取拍摄对象的当前人体模型和深度图像；选取一个当前人体模型作为标准模型，将其顶点重投影至深度图像，提取顶点对应的颜色信息及图像坐标，该颜色信息为颜色初始值，图像坐标转换成纹理坐标；将后续的人体模型顶点的颜色信息与颜色初始值计算加权和，作为标准模型顶点的新颜色；计算当前人体模型的子纹理贴图和子掩膜，组合成完整的纹理图和掩膜；根据纹理图、纹理坐标进行渲染。本发明基于GPU能够快速完成所需纹理的生成和优化，得到高质量的纹理图集，消除光照变化带来的颜色裂缝。可以为在多相机系统产生的人体模型进行渲染，达到良好的视觉真实感。CN111243071ACN111243071A权利要求书1/1页1.一种实时三维人体重建的纹理渲染方法，其特征在于包括：S1，获取拍摄对象的当前人体模型和深度图像；S2，选取一个当前人体模型作为标准模型，将其顶点重投影至深度图像，提取顶点对应的颜色信息及图像坐标，该颜色信息为颜色初始值，图像坐标转换成纹理坐标；S3，将后续的人体模型同样进行S2操作，并将其顶点的颜色信息与颜色初始值计算加权和，作为标准模型顶点的新颜色；S4，计算当前人体模型的子纹理贴图和子掩膜，并将纹理贴图和掩膜分别组合成完整的纹理图和掩膜；最终根据纹理图、纹理坐标进行渲染。2.根据权利要求1所述的实时三维人体重建的纹理渲染方法，其特征在于：S4中，基于改进的泊松融合，用所生成的掩膜对纹理图进行优化，以去除从各个视角取颜色带来的颜色差异和裂缝，最终平滑颜色过渡区域。3.根据权利要求1或2所述的实时三维人体重建的纹理渲染方法，其特征在于：S1中，通过多目相机系统同步采集拍摄对象的彩色图像和深度图像。4.根据权利要求3所述的实时三维人体重建的纹理渲染方法，其特征在于：利用dynamicfusion对彩色图像和深度图像优化，生成准确真实的当前人体模型。5.根据权利要求3所述的实时三维人体重建的纹理渲染方法，其特征在于：所述多目相机系统为三个以上能实现同步拍摄的深度相机组。6.根据权利要求5所述的实时三维人体重建的纹理渲染方法，其特征在于：所述深度相机组为呈环形均匀分布的六个微软AzureKinect相机。7.根据权利要求1所述的实时三维人体重建的纹理渲染方法，其特征在于：S2中，选取首个生成的当前人体模型作为全局标准模型，且该模型为动画模型,即模型的拓扑结构发生变化时，两模型顶点也可以根据索引一一对应。8.根据权利要求1所述的实时三维人体重建的纹理渲染方法，其特征在于：S2中，对标准模型对模型进行网格划分。9.根据权利要求8所述的实时三维人体重建的纹理渲染方法，其特征在于：所述网格划分为：假设每个三角面片的分辨率为R，分辨率为1时，则表示不划分该面片；当分辨率R大于1时，则对网格进行划分，产生的顶点数量则为(R+1)*(R+2)/2，面片数量为R2；新划分的顶点坐标通过重心坐标系确定，即为三个原顶点坐标的加权和，其权重为(0≤i≤R且0≤j≤R-i)。10.根据权利要求1、8、9任一所述的实时三维人体重建的纹理渲染方法，其特征在于：重投影获得的顶点颜色循环地与该顶点颜色初始值进行融合，融合策略如下：Wi(p)←min(Wi(p)+wi(p),wmax)其中，Ai为顶点颜色初始值，Wi为顶点现有颜色累积权重，ai为顶点当前重投影颜色，wi为顶点重投影颜色的权重。2CN111243071A说明书1/8页实时三维人体重建的纹理渲染方法、系统、芯片、设备和介质技术领域[0001]本发明涉及计算机视觉和计算机图形学的三维重建领域，具体地说是一种实时三维人体重建的纹理渲染方法、系统、芯片、设备和介质。背景技术[0002]随着立体视觉技术的发展和虚拟现实/增强现实(VR/AR)技术的逐渐普及，如何获得日常生活中真实的人体三维模型已经成为研究的热点和难点，特别是在动态场景中捕捉人体运动；真实的人体三维模型应用十分广泛，