一种基于肤色先验的人脸本征图像分解方法.pdf

(19)中华人民共和国国家知识产权局(12)发明专利申请(10)申请公布号CN109903320A(43)申请公布日2019.06.18(21)申请号201910080517.9(22)申请日2019.01.28(71)申请人浙江大学地址310058浙江省杭州市西湖区余杭塘路866号(72)发明人石育金任重(74)专利代理机构杭州求是专利事务所有限公司33200代理人邱启旺(51)Int.Cl.G06T7/50(2017.01)G06T7/90(2017.01)G06T17/00(2006.01)G06K9/00(2006.01)权利要求书7页说明书10页附图1页(54)发明名称一种基于肤色先验的人脸本征图像分解方法(57)摘要本发明公开了一种基于肤色先验的人脸本征图像分解方法，可以从单张人脸照片中提取人脸反射率本征图。该方法分为三个步骤：在预处理阶段，对人脸进行三维重建同时提取人脸特征点，然后进行人脸区域划分；在高光分离阶段，利用光强比定位并剔除高光；本征分离阶段，结合平滑性等先验和人脸肤色先验用优化的方法求解反射本征图。该方法需要的输入仅为单张图片，生成的反射率本征图能够较好地保留肤色信息。CN109903320ACN109903320A权利要求书1/7页1.一种基于肤色先验的人脸本征图像分解方法，其特征在于，包括以下步骤：(1)对输入的人脸图像进行三维重建和人脸特征点识别，根据重建后的三维模型计算人脸深度图，根据人脸特征点对人脸区域进行划分。(2)对输入的人脸图像进行高光分离操作，获取消除了高光后的漫反射图。(3)对不包含高光的漫反射图进行本征分解，获取人脸反射率本征图。2.根据权利要求1所述的本征分解方法，其特征在于，所述步骤1具体为：采用偏移动态表情方法对输入的人脸图像进行三维重建和人脸特征点识别，根据三维重建后的的三维模型，利用渲染时的深度缓冲区将深度信息导出，生成对应的高度图；再根据人脸特征点将面部划分为9个区域，依次表示：额、眉、眼睑、眼、面颊、鼻、嘴上、嘴、下巴；各个区域的边界由特征点连线构成。3.根据权利要求1所述的本征分解方法，其特征在于，所述步骤2通过以下子步骤来实现：(2.1)根据输入图像计算每个像素的光强比；定义为：其中，Imax(x)＝max{Ir(x),Ig(x),Ib(x)}表示像素点的rgb三个通道的最大值，Imin(x)＝min{Ir(x),Ig(x),Ib(x)}表示像素点的rgb三个通道的最小值，Irange(x)＝Imax(x)-Imin(x)，Q(x)表示光强比；(2.2)设定高光阈值ρ＝0.7，对各个区域全部N个像素的光强比按从小到大排序，取其中第ρ×N个值Qρ，然后对光强比归一化，获得伪高光分布图，表示每个像素点的高光强度：其中，Qmax表示光强比的最大值，Qi表示第i个像素的光强比，表示像素的高光强度。(2.3)根据Qρ将各个区域的像素分为不带高光的像素和带高光的像素，光强比大于Qρ的像素认为是包含高光的，小于Qρ的认为是不带高光的；计算二者的平均值之差获得每个区域的伪高光色，用于描述各个区域的平均高光色；(2.4)用伪高光分布图乘以高光系数α＝2，再乘以各个区域的伪高光色，获得区域伪高光图；(2.5)用输入图像减去伪高光图，获取漫反射图。4.根据权利要求1所述的本征分解方法，其特征在于，所述步骤3通过以下子步骤来实现：(3.1)根据步骤1计算的深度图设定人脸的几何先验和肤色先验；几何先验定义为计算的深度图Z与参考深度图之间的差值：其中，G表示大小为5、均值为0的高斯卷积核，*表示卷积操作，∈表示极小项。2CN109903320A权利要求书2/7页肤色先验定义为计算的反射率本征图中各个区域的平均肤色与参考肤色之间的差值：其中，ai表示输入漫反射图的像素i的像素值，操作符·表示矩阵对应元素的点乘；Wa表示白化变换，用于消除rgb三通道之间的相关性，其值由MIT本征图数据库的本征图拟合得到：F表示肤色损失系数，是一个三阶矩阵，由平均肤色计算得到。假设用人脸各个区域的像素的平均值代替该区域的所有像素，得到人脸平均区域肤色图N，那么求解式：可以得到F。式中第一项F·(WaN)表示平均区域肤色图的损失；第二项log(∑iexp(-Fi))表示F的绝对大小；第三项表示F的平滑度，系数λ＝512，∈表示极小项；J(F)中，Fxx表示对矩阵F的对x方向的二阶导数，以此类推。(3.2)结合普适性先验，设定本征分解的优化方程；本征分解优化方程可以描述为：其中，该优化过程的优化目标是深度图Z和光照L，g(a)、f(Z)和h(L)分别表示对反射率本征图、深度图和光照的损失函数：g(a)＝λsgs(a)+λege(a)+λpgp(a)其中，λ表示对应损失项的系数，如下表所示；普适性反射率先验包括：(A