基于单帧人脸图像的实时三维人脸重建方法.pdf

(19)中华人民共和国国家知识产权局(12)发明专利申请(10)申请公布号CN109377557A(43)申请公布日2019.02.22(21)申请号201811418790.X(22)申请日2018.11.26(71)申请人中山大学地址510275广东省广州市海珠区新港西路135号(72)发明人符顺谢晓华陈翔(74)专利代理机构广州市华学知识产权代理有限公司44245代理人李盛洪(51)Int.Cl.G06T17/00(2006.01)G06K9/00(2006.01)权利要求书2页说明书5页附图5页(54)发明名称基于单帧人脸图像的实时三维人脸重建方法(57)摘要本发明公开了一种基于单帧人脸图像的实时三维人脸重建方法，步骤如下：从摄像头获取人脸图像，对图像进行人脸检测与人脸特征点定位与标注；根据人脸特征点的定位进行头部的姿态计算，获得图像中头部的旋转参数；使用特征点进行人脸归一化，计算归一化后的人脸深度信息；使用人脸深度信息，对标准头部三维网格模型进行变形；根据特征点与输入图像获得人体头部纹理图像；利用旋转参数与归一化获得变形后的头部网格点与纹理图像的直接映射关系；使用变形后的头部网格点、纹理图像与两者间的对应关系进行三维绘制与渲染，并展示给用户。本方法通过展示时纹理代替深度细节信息实现加速与纹理直接映射三维模型简化映射运算，达到三维重建的实时效果。CN109377557ACN109377557A权利要求书1/2页1.一种基于单帧人脸图像的实时三维人脸重建方法，其特征在于，所述的实时三维人脸重建方法包括以下步骤：S1、从摄像头获取人脸图像作为输入，对人脸图像进行人脸检测与人脸特征点定位与标注，如果存在人脸，则将人脸特征点标注在人脸图像上；S2、根据人脸特征点的定位进行头部的姿态计算，获得人脸图像中头部的旋转参数；S3、使用人脸特征点进行人脸归一化，计算归一化后的人脸深度信息；S4、使用人脸深度信息，对标准头部三维网格模型进行变形；S5、根据人脸特征点与摄像头输入的人脸图像获得人体头部纹理图像；S6、使用旋转参数与归一化，获得变形后的头部网格点与纹理图像的直接映射关系；S7、使用变形后的头部网格点、纹理图像与以上两者间的直接映射关系进行三维重建与渲染，并展示给用户。2.根据权利要求1所述的基于单帧人脸图像的实时三维人脸重建方法，其特征在于，所述的人脸特征点包括人脸轮廓边缘和五官位置，其中五官包括两个眼球、鼻尖、嘴巴以及两个眉毛。3.根据权利要求1所述的基于单帧人脸图像的实时三维人脸重建方法，其特征在于，所述的步骤S1中使用ShiqiYu在Github上发布的Libfacedetection库获得68个人脸特征点。4.根据权利要求1所述的基于单帧人脸图像的实时三维人脸重建方法，其特征在于，所述的步骤S2中头部的姿态计算通过选取从人脸图像中获得的二维五官特征点与标准头部模型的相对应的三维五官特征点，使用超过6对的对应特征点，采用EPNP算法估计获得人脸图像中头部的旋转参数。5.根据权利要求1所述的基于单帧人脸图像的实时三维人脸重建方法，其特征在于，所述的步骤S3中使用特征点进行人脸归一化，计算归一化后的人脸深度信息的过程如下：S31、根据统计平均的两个眼球中心以及鼻尖的二维坐标，与输入图像中两个眼球中心以及鼻尖特征点，获得输入图像到统计平均的仿射矩阵，将仿射矩阵与输入图像的人脸部分相乘，即仿射变换，将人脸以鼻尖点为中点，裁剪一定像素大小的人脸图像，完成归一化操作；S32、归一化后的人脸图像与事先训练好的张量进行相乘，进行SVD分解操作，输出归一化图像中每个像素点的深度信息。6.根据权利要求1所述的基于单帧人脸图像的实时三维人脸重建方法，其特征在于，所述的步骤S4中对标准头部三维网格模型进行变形的过程如下：S41、以两个眼睛中心以及鼻尖的坐标为基准，获得标准头部三维网格模型中的点到归一化后每个像素点深度信息的仿射矩阵，分别计算归一化图像与标准头部三维网格模型在人脸正面方向上两个眼睛中心点的距离与两个眼睛中心连线的中点到鼻尖点距离的比值，再用标准头部三维网格模型的比值除以归一化图像的比值，获得拉伸系数；S42、利用仿射矩阵，调整标准头部三维网格模型中脸部点的深度信息；S43、将标准头部三维网格模型中点到标准头部三维网格模型中鼻根点在左右方向上的差值，将该差值与所述的拉伸系数相乘获得新的差值，最后利用新的差值，与标准头部三维网格模型中鼻根点左右方向上的值相加，成为该点的左右方向的值，对标准头部三维网格模型中点进行横向拉伸。2CN109377557A权利要求书2/2页7.根据权利要求1所述的基于单帧人脸图像的实时三维人脸重建方法，其特征在于，所述的步骤S5中获得人体头部纹理图像的过程如下：利用特征点获得脸部图像，利用脸部皮肤图像获得非脸