一种基于光照先验的单张图像人脸三维重建方法.pdf

(19)中华人民共和国国家知识产权局(12)发明专利申请(10)申请公布号CN111445582A(43)申请公布日2020.07.24(21)申请号201910042316.X(22)申请日2019.01.16(71)申请人南京大学地址210046江苏省南京市栖霞区仙林大道163号(72)发明人于耀邱炜彬刘鹏(51)Int.Cl.G06T17/30(2006.01)G06T15/04(2011.01)权利要求书1页说明书6页附图1页(54)发明名称一种基于光照先验的单张图像人脸三维重建方法(57)摘要本发明公开一种基于光照先验的单张图像人脸三维重建方法，属于计算机视觉领域。本发明解决的问题是：针对目前三维人脸重建技术缺失几何细节，且需要有较为严格的拍摄条件的情况，提出了一种基于光照先验的单张图像人脸三维重建方法。本发明的核心部分在于充分利用参数化人脸模型和环境光照等先验信息，首先以图像的人脸关键点驱动参数化三维人脸模型变形，得到粗略的三维人脸模型，再结合本征图像性质对人脸光照和纹理进行估计，最后利用图像光影优化人脸模型的几何细节，从而得到具有几何细节的三维人脸模型。本发明的算法输入为无约束的单张人脸图片，最终的输出结果为三维人脸模型。本发明的算法结果可运用于三维人脸建模，动画表情迁移和人脸图像重光照渲染等应用课题。CN111445582ACN111445582A权利要求书1/1页1.一种基于光照先验的单张图像人脸三维重建方法及系统，其特征在于，包括如下步骤：步骤1：通过检测二维人脸特征点，使用基于数据驱动的3DMM模型进行初始人脸外形的求解；步骤2：根据光照先验及人脸肤色模型，结合上一步得到的初始模型，估计出光照和纹理信息；步骤3：利用图像的光影变化信息，在三维模型上进行细节的形变，得到精细的三维人脸模型。2.权利要求1所述方法的步骤1的特征在于，输入无约束的单张人脸图像，通过3DMM生成初始人脸模型后，针对未遮挡轮廓点与自遮挡轮廓点提出适用于两种不同情况的对应关系修复方式。针对未遮挡轮廓点直接利用投影关系：投影后作垂线：获得更新的对应二维特征点坐标；针对自遮挡轮廓点，根据先前求解的投影参数将模型渲染为二值图像，通过边缘检测，提取视角轮廓像素点对应的三角面片索引，从而得到自遮挡轮廓三维模型点索引将X中Ce对应点投影至二维后得到利用未遮挡轮廓点中作垂线的更新方式将We更新为We′，最终将Ce与We′作为新的对应关系加入3DMM参数的求解中。在此之后重新迭代求解投影姿态与3DMM参数，直到收敛得到初始化人脸模型。3.权利要求1所述方法的步骤2的特征在于，根据步骤1得到的三维模型，结合3DMM人脸纹理模型及人脸光照先验模型，在三维空间中迭代求解模型纹理与光照信息，从而为下一步骤提供先验数据。其中μtex为平均人脸纹理向量，Utex是人脸纹理主元，δ则为待求的人脸纹理参数向量，L为表征场景光照的球谐光照系数。σtex为纹理参数δ应满足的高斯分布，μL和CL分别为球谐光照系数的平均值和协方差矩阵。方程第一项约束了参数化模型构建出来的颜色与真实值的偏差，第二项为纹理参数δ的高斯约束项，第三项为光照参数L的先验约束项。4.权利要求1所述方法的步骤3的特征在于，使用以下能量函数描述几何细节优化的问题：2其中Eshading(X)＝∑i，j∈pixtl(ri，j*max(LY(N(X，Tri，j))，0)-Ii，j)总能量函数中的第一项Eshading(X)为渲染的图像与原图的偏差值；第二项为Uniform-Laplacian算符下的模型形状保持项。其中X是待求解的模型坐标变量，X0为模型点的初始坐标，为uniform的Laplacian算符，可表示为一个稀疏矩阵，矩阵中(i，j)位置的元素值与三维模型中第i点的一阶邻域相关，ri，j表示将带有肤色纹理A的三维模型X渲染到二维图像上得到的位于(i，j)的像素值。Ii，j为原始输入图像(i，j)像素的值。通过非线性优化这一总能量函数，步骤3最终可得到与图片人脸相一致的三维人脸模型。2CN111445582A说明书1/6页一种基于光照先验的单张图像人脸三维重建方法技术领域[0001]本发明属于计算机视觉领域，提出了一种基于光照先验，利用单张人脸图片重建三维人脸模型的算法。背景技术[0002]人脸三维重建在计算机视觉领域有着十分广泛的应用，比如辅助人脸识别、人脸表情识别和三维面部表情动画制作等。虽然通过三维扫描设备或者多张图像可以重建出三维人脸模型，但是这一方法严重依赖于受控的条件，成本较高且不够便捷。近年来也出现了从单张图像直接恢复三维人脸的方法，然而其结果往往缺乏良好的几何细节。理论上，图像是由物体的几何结构、材质纹理、环境光照等诸多要素相互作用生成的，因此从单张图像出发反推这些构成要素是一个难