多视点实时人体运动、手势、表情、纹理重建系统.pdf

(19)中华人民共和国国家知识产权局(12)发明专利申请(10)申请公布号CN111932678A(43)申请公布日2020.11.13(21)申请号202010810382.X(22)申请日2020.08.13(71)申请人北京未澜科技有限公司地址100086北京市海淀区成府路45号中关村智造大街A座四层419(72)发明人张宇翔安亮戴翘楚于涛(51)Int.Cl.G06T17/20(2006.01)G06N3/04(2006.01)G06N3/08(2006.01)G06T7/80(2017.01)G06T7/73(2017.01)G06T7/90(2017.01)G06T15/04(2011.01)G06T15/20(2011.01)权利要求书1页说明书4页附图1页(54)发明名称多视点实时人体运动、手势、表情、纹理重建系统(57)摘要本发明提供了一种多视点实时人体运动、手势、表情、纹理重建系统，该多视点实时人体运动、手势、表情、纹理重建系统包括：将多个相机架围出捕捉区域，通过相机标定方法标定所述多个相机的相机内参和相机外参；通过标定后的所述多个相机采集人体图像，并对所述人体图像进行处理以使所述人体图像转码成RGB图像，然后完成单目的人体姿态估计；通过单目的所述人体姿态估计得到人体各个关节的热点图和关节亲和度，对关节热点图进行非极大值抑制得到各个关节坐标；从而得到人体三维关节坐标，从而得到人体三维重建模型。本系统利用深度学习来完成人体姿态的估计，在试验环境下，可以实时对多人的人体模型进行拟合与渲染。CN111932678ACN111932678A权利要求书1/1页1.一种多视点实时人体运动、手势、表情、纹理重建系统，其特征在于，包括以下步骤：S1，将多个相机架围出捕捉区域，通过相机标定方法标定所述多个相机的相机内参和相机外参；S2，通过标定后的所述多个相机采集人体图像，并对所述人体图像进行处理以使所述人体图像转码成RGB图像，然后完成单目的人体姿态估计；S3，通过单目的所述人体姿态估计得到人体各个关节的热点图和关节亲和度，对关节热点图进行非极大值抑制得到各个关节坐标；S4，利用多目信息的极线约束对单目的检测结果进行约束，得到人体在各个视角下的二维关节坐标，通过对极几何约束以及关节亲和度、热力图和上一帧三维结果的时域约束构造一个稀疏4D图；S5，利用贪婪算法对所述稀疏4D图进行分割，得到每个人在各个视角下的2D关节坐标，然后利用相机参数对各个视角下匹配关节的坐标进行三角化，从而得到三维关节坐标，从而得到各个人的三维骨架；S6，将所述三维骨架的手部关节重新投影到各个相机图片上，结合尺度信息得到人手对应的矩形区域，使用人手检测器对人手参数进行估计，得到人手姿态的PCA系数和仿射关系，然后对不同视角的人手检测结果进行去噪；S7，将所述三维骨架的鼻子关节投影到各个视角下，结合尺度信息和面部朝向得到各个视角下人脸的矩形区域，使用人脸检测器对人脸参数进行估计，然后对不同视角的人脸检测结果进行去噪；S8，通过得到的所述三维关节坐标和人手及人脸参数拟合出三维人体模型，然后将优化后的三维人体模型重新投影回各个视角下和原图对齐，将图片中的颜色信息投影回参数模型从而对完成纹理贴图；S9，将纹理贴图输入神经网络，预测各个顶点的法向偏移量，完成对表面细节的重建。2.根据权利要求1所述的一种多视点实时人体运动、手势、表情、纹理重建系统，其特征在于，所述标定所述多个相机的相机内参和相机外参，包括：通过棋盘格标定方法对所述相机内参和所述相机外参进行标定。3.根据权利要求1所述的一种多视点实时人体运动、手势、表情、纹理重建系统，其特征在于，通过所述标定后的多个相机采集所述人体图像，通过PCIe接口将所述人体图像传送到主机的采集卡上，通过cuda程序将所述人体图像进行转码，缩放成三通道RGB矩阵形式，得到所述RGB图像。4.根据权利要求3所述的一种多视点实时人体运动、手势、表情、纹理重建系统，其特征在于，通过伽马校正对所述RGB图像进行校正，提高所述RGB图像质量。2CN111932678A说明书1/4页多视点实时人体运动、手势、表情、纹理重建系统技术领域[0001]本发明涉及到计算机视觉技术领域，尤其涉及到一种多视点实时人体运动、手势、表情、纹理重建系统。背景技术[0002]随着计算机计算能力的提高以及图形卡的不断迭代，深度学习技术得以迅猛发展，极大地推动了计算机视觉领域。目前的重建技术主要分为两种，一种是利用普通的RGB相机，通过多目特征点匹配并三角化得到深度信息，另一种是直接利用深度相机，得到深度图进行重建，比如苹果公司发布的新iPhoneX就搭载了一颗深度相机来完成人脸重建，把这种技术推向消费领域。[0003]但相对于RGB相机，深度相机的缺点有受环