基于单图像的自适应三维人脸重建方法.pdf

(19)中华人民共和国国家知识产权局(12)发明专利申请(10)申请公布号CN111489435A(43)申请公布日2020.08.04(21)申请号202010244603.1(22)申请日2020.03.31(71)申请人天津大学地址300072天津市南开区卫津路92号(72)发明人李坤杨婧张劲松来煜坤(74)专利代理机构天津市北洋有限责任专利代理事务所12201代理人刘国威(51)Int.Cl.G06T17/00(2006.01)G06K9/00(2006.01)G06N3/04(2006.01)权利要求书2页说明书6页附图3页(54)发明名称基于单图像的自适应三维人脸重建方法(57)摘要本发明属于计算机视觉和图形学领域，为提出一种鲁棒的通过单张图像实现自适应三维人脸模型的重建方法，从而准确地获取各个姿态下的人脸模型，本发明，基于单图像的自适应三维人脸重建方法，包括以下步骤：1)首先输入一张人脸图片；2)使用人脸关键点检测方法分别估计图片中人脸2D和3D关键点位置；3)作一个粗姿态估计；4)由步骤3)得到粗的姿态估计，将模型中的n个点投影在图像上，利用检测到的3D点替换被遮挡的2D轮廓点，再更新n个点估计一个优化后的姿态；5)由步骤4)根据所获得的姿态估计自适应地调整2D和3D关键点的权重；由步骤5)结合步骤4)得到的姿态参数拟合人脸模型。本发明主要应用于人脸模型重建场合。CN111489435ACN111489435A权利要求书1/2页1.一种基于单图像的自适应三维人脸重建方法，其特征是，包括以下步骤：1)首先输入一张人脸图片；2)对于输入的图片，使用人脸关键点检测方法分别估计图片中人脸2D和3D关键点位置；3)根据检测到的2D关键点的左右轮廓点分别估计一个欧拉角，取水平方向旋转角yaw值最大的作为一个粗姿态估计；4)由步骤3)得到粗的姿态估计，将模型中的n个点投影在图像上，利用检测到的3D点替换被遮挡的2D轮廓点，再更新n个点估计一个优化后的姿态；5)由步骤4)得到优化后的姿态估计，根据所获得的姿态估计自适应地调整2D和3D关键点的权重；6)由步骤5)估计人脸的形状和表情参数，结合步骤4)得到的姿态参数拟合人脸模型。2.如权利要求1所述的基于单图像的自适应三维人脸重建方法，其特征是，具体步骤如下：3-1)3DMM是一种3D人脸统计模型，属基于主成分分析的线性模型，其顶点表示为:V(α,β)＝Msha(α)+Mexp(β)(1)其中Msha表示形状向量，Mexp表示表情向量，α是形状参数，β是表情参数，Msha和Mexp定义为：其中是平均形状，是平均表情，Γsha和Γexp分别是由扫描的中性形状和表情训练得到的主成分系数；3-2)根据步骤3)得到一个粗姿态估计后，由步骤4)得到优化后的姿态估计PΠ,R,t，其中t是位移向量，s是缩放系数，Π定义为：其中R为由罗德里格斯公式表示的3×3旋转矩阵:其中I是一个3×3的单位阵，是关于y的斜对称矩阵，模型的欧拉角向量利用罗德里格斯公式得到欧拉角到旋转矩阵的变换；3-3)2D拟合约束E2d定义为：Vk是3D人脸模型的第k个顶点，li是与顶点对应的第i个关键点，L2d,i是第i个检测到的2D关键点，通过最小化2D关键点L2d,i和模型投影的2D点位置之间的欧氏距离来求解3DMM参数；3-4)为了结合3D深度信息来解决不可见区域的歧义性，提出3D-to-3D拟合约束：2CN111489435A权利要求书2/2页其中姿态参数和优化求解方式与E2d相似，Lg3d,i是归一化为2维坐标的第i个3D关键点；3-5)为了有效地结合2D和3D关键点信息，利用权重自适应调整方法:其中设置ε值为0.5，即以人脸旋转角度45°为界，当旋转角度大于45°时，取Wλ＝1，2D和3D权重调整如下：其中设置调整权重w值为0.5。当Wλ＝0时，人脸旋转角度小于45°，2D和3D权重调整如下：3-6)期望每个形状和表情参数都服从正态分布，均值和方差为零。形状和表情先验项定义如下:Ep(α,β)＝λαEprior(α)+λβEprior(β)(13)其中Eprior(α)是形状先验，Eprior(β)是表情先验，λα和λβ是他们对应的权重系数；形状先验定义为：表情先验定义为：其中αi与βi分别表示第i个形状和表情参数，Nα和Nβ分别表示形状和表情参数总数，δα和δβ是主成分形状和表情对应的特征值，实验证明添加形状和表情先验可以有效地提高重建准确率；3-7)最后总的2D和3D的联合优化求解过程如下，将其视为一个非线性最小二乘问题：Efit(α,β,PΠ,R,t)＝λ2dE2d(α,β,PΠ,R,t)+λ3dE3d(α,β,PΠ,R,t)+Ep(α,β)(16)其中λ2d是2D拟合约束的权重系数，λ3d是3D拟合约束的