一种基于单张人脸图片的三维人脸重建方法和系统.pdf

(19)中华人民共和国国家知识产权局(12)发明专利申请(10)申请公布号CN111951384A(43)申请公布日2020.11.17(21)申请号202010805128.0(22)申请日2020.08.13(71)申请人科大乾延科技有限公司地址230088安徽省合肥市高新区习友路与石莲南路交汇处中国声谷2-C栋3A层3A10-A11室(72)发明人黄章进钱静周健(51)Int.Cl.G06T17/00(2006.01)G06K9/00(2006.01)G06N3/04(2006.01)G06N3/08(2006.01)G06T7/11(2017.01)权利要求书1页说明书7页附图2页(54)发明名称一种基于单张人脸图片的三维人脸重建方法和系统(57)摘要本发明公开一种基于单张人脸图片的三维人脸重建方法和系统，属于计算机视觉与曲面重建技术领域。针对现有技术中存在的点云重建出的模型较为粗糙，像素层面信息建立的损失函数会导致卷积神经网络模型陷入局部次优解，人脸角度较大的图片上进行三维人脸重建效果不够鲁棒的问题，本发明中人脸图片通过回归模块回归三维人脸参数，通过深度人脸特征提取模块提取人脸图片在深度卷积层上的特征，所述深度人脸特征提取模块在深层特征空间建立损失函数，优化卷积神经网络模型。本发明充分利用输入人脸图片和渲染人脸图片在深层特征空间的对应关系，训练端到端的三维人脸重建回归网络，提高三维人脸重建的质量，使计算结果更加准确。CN111951384ACN111951384A权利要求书1/1页1.一种基于单张人脸图片的三维人脸重建方法，其特征在于，包括以下步骤：步骤S1：输入人脸图片，对图片进行人脸检测和特征点检测，裁剪人脸区域；步骤S2：回归三维人脸参数，所述三维人脸参数包括三维形变模型的系数、相机系数和球谐光照系数；步骤S3：通过步骤S2得到的三维人脸参数重建出对应的三维人脸模型，然后通过渲染器将重建出的三维人脸模型渲染到二维平面上，将输入人脸图片和渲染后的人脸图片反馈到深度人脸特征模型，建立损失函数，最后训练整体的卷积神经网络框架。2.根据权利要求1所述的一种基于单张人脸图片的三维人脸重建方法，其特征在于，步骤S3中损失函数为：Lloss(x)＝ωlandLland(x)+ωphotoLphoto(x)+ωdffLdff(x)+ωregLreg(x)；其中，x表示三维人脸参数，Lland(x)为特征点对齐的损失函数，Lphoto(x)为像素之间差异的损失函数，Ldff(x)为深度人脸特征(DFF)模型在深层特征空间建立的损失函数，Lreg(x)为正则化项，ωland、ωphoto、ωdff和ωreg均为损失函数的权重系数。3.根据权利要求2所述的一种基于单张人脸图片的三维人脸重建方法，其特征在于，深度人脸特征模型在深层特征空间建立的损失函数为i包括1至68的自然数，表示人脸特征点，其中和分别为人脸特征点在特征图D和特征图D’中对应的特征向量，fi∈{0，1}为人脸特征点的可见性权重。4.根据权利要求3所述的一种基于单张人脸图片的三维人脸重建方法，其特征在于，人脸特征点可见时可见性权重fi＝1，人脸特征点不可见时可见性权重fi＝0。5.根据权利要求2所述的一种基于单张人脸图片的三维人脸重建方法，其特征在于，损-6失函数的权重系数中，ωland＝400、ωphoto＝100、ωdff＝10以及ωreg＝1。6.根据权利要求1所述的一种基于单张人脸图片的三维人脸重建方法，其特征在于，步骤S2中采用VGG-16卷积神经网络回归出人脸图片对应的三维人脸参数。7.根据权利要求6所述的一种基于单张人脸图片的三维人脸重建方法，其特征在于，所述三维形变模型的系数包括三维形变模型形状参数、三维形变模型纹理参数和三维形变模型表情参数；所述相机系数包括相机旋转参数和相机平移参数。8.根据权利要求1所述的一种基于单张人脸图片的三维人脸重建方法，其特征在于，步骤S1中采用Dlib作为人脸检测算法，使用二维至三维人脸对齐网络进行特征点检测。9.一种基于单张人脸图片的三维人脸重建系统，其特征在于，使用如权利要求1-8任意一项所述的一种基于单张人脸图片的三维人脸重建方法，系统包括回归模块和深度人脸特征提取模块，人脸图片通过回归模块回归三维人脸参数，训练时通过深度人脸特征提取模块提取的人脸图片在深度卷积层上的特征改进回归模块的重建效果。10.根据权利要求9所述的一种基于单张人脸图片的三维人脸重建系统，其特征在于，所述深度人脸特征提取模块采用深度人脸特征模型，将输入人脸图片和三维人脸模型渲染得到的图片同时输入到深度人脸特征模型中，在深层特征空间建立损失函数，优化卷积神经网络模型。2CN111951384A说明书1/7页一种基于单张人脸图片的三维人脸重建方法和系