人脸模型重建方法、装置、设备和存储介质.pdf

(19)中华人民共和国国家知识产权局(12)发明专利申请(10)申请公布号CN114429518A(43)申请公布日2022.05.03(21)申请号202111627286.2(22)申请日2021.12.28(71)申请人清华大学地址100084北京市海淀区双清路30号清华大学申请人深兰科技（上海）有限公司(72)发明人刘永进吕天叶子鹏夏萌霏王雷(74)专利代理机构北京路浩知识产权代理有限公司11002代理人任少瑞(51)Int.Cl.G06T17/00(2006.01)权利要求书2页说明书14页附图3页(54)发明名称人脸模型重建方法、装置、设备和存储介质(57)摘要本发明提供一种人脸模型重建方法、装置、设备和存储介质，包括：将当前人脸正面照片输入预设的人脸描述模型，得到人脸的描述信息，所述描述信息包括当前人脸的几何参数，所述人脸描述模型为深度神经网络模型；根据所述几何参数获取所述当前人脸的人脸网格模型；将所述当前人脸正面照片输入预设的生成网络生成所述当前人脸的纹理贴图、法向贴图和视差贴图；将所述人脸网格模型、所述纹理贴图、所述法向贴图和所述视差贴图输入视差可微渲染器，得到重建的正面人脸模型。本发明的技术方案可以实现提高人脸模型重建的精度。CN114429518ACN114429518A权利要求书1/2页1.一种人脸模型重建方法，其特征在于，包括：将当前人脸正面照片输入预设的人脸描述模型，得到人脸的描述信息，所述描述信息包括当前人脸的几何参数，所述人脸描述模型为深度神经网络模型；根据所述几何参数获取所述当前人脸的人脸网格模型；将所述当前人脸正面照片输入预设的生成网络生成所述当前人脸的纹理贴图、法向贴图和视差贴图；将所述人脸网格模型、所述纹理贴图、所述法向贴图和所述视差贴图输入视差可微渲染器，得到重建的正面人脸模型。2.根据权利要求1所述的方法，其特征在于，所述得到重建的正面人脸模型之后，所述方法还包括：在所述当前人脸的多个角度的第一彩色深度图像中选取五帧不同角度的第二彩色深度图像；对所述第二彩色深度图像进行点处理，得到正脸点云；将所述正面人脸模型非刚性配准到所述正脸点云上，得到半张脸模型；将模板全头模型非刚性配准到所述半张脸模型上；将所述半张脸模型与所述模板全头模型的头后部部分进行拼接，得到完整的全头模型。3.根据权利要求1所述的方法，其特征在于，所述生成网络包括纹理生成器、法向生成器和视差生成器，所述生成网络的训练方法包括：对所述纹理生成器进行训练，直到所述纹理生成器收敛，得到中间生成器；引入所述法向生成器和所述视差生成器，并加载所述中间生成器，对所述纹理生成器、所述法向生成器和所述视差生成器进行同步调整。4.根据权利要求1所述的方法，其特征在于，所述人脸描述模型的训练方法包括：获取历史人脸正脸照片的训练数据集；将所述训练数据集中的所述历史人脸正脸照片依次输入初始的人脸描述模型，并根据得到的输出数据调整所述人脸描述模型的参数，得到最终的所述人脸描述模型。5.根据权利要求1所述的方法，其特征在于，根据所述几何参数获取所述当前人脸的人脸网格模型，包括：通过所述几何参数获取人脸网格中所有顶点的坐标。6.根据权利要求2所述的方法，其特征在于，在所述当前人脸的多个角度的第一彩色深度图像中选取五帧不同角度的第二彩色深度图像，包括：获取所述第一彩色深度图像；对所述第一彩色深度图像进行预处理，选取以下五个不同角度的第二彩色深度图像：正脸、向左15°、向左30°、向右15°和向右30°。7.根据权利要求6所述的方法，其特征在于，所述对所述第二彩色深度图像进行点处理，得到正脸点云，包括：所述对所述第二彩色深度图像进行点处理，得到正脸点云和关键点；所述选取以下五个不同角度的第二彩色深度图像包括：根据所述关键点计算所述当前人脸对应的人头部转向的方向与角度；2CN114429518A权利要求书2/2页根据所述人头部转向的方向与角度选取所述五个不同角度的第二彩色深度图像。8.根据权利要求7所述的方法，其特征在于，所述将所述正面人脸模型非刚性配准到所述正脸点云上，得到半张脸模型，包括：将所述正面人脸模型利用所述正脸点云进行匹配，使得所述正脸点云根据所述正面人脸模型进行变形拟合网格；所述将模板全头模型非刚性配准到所述半张脸模型上，包括：将所述模板全头模型利用所述半张脸模型进行匹配，使得所述半张脸模型根据所述模板全头模型进行变形与拟合。9.根据权利要求2所述的方法，其特征在于，所述将所述半张脸模型与所述模板全头模型的头后部部分进行拼接，得到完整的全头模型，包括：对所述正面人脸模型以及所述模板全头模型的头后部部分在空间中进行位置匹配；在所述正面人脸模型以及所述模板全头模型的头后部部分中通过插值计算得到新顶点，并且基于所述新顶点在所述全头模型中加入新的三角