一种基于单张人脸图片的三维人脸重建系统.pdf

(19)中华人民共和国国家知识产权局(12)发明专利申请(10)申请公布号CN111951381A(43)申请公布日2020.11.17(21)申请号202010791969.0(22)申请日2020.08.13(71)申请人科大乾延科技有限公司地址230088安徽省合肥市高新区习友路与石莲南路交汇处中国声谷2-C栋3A层3A10-A11室(72)发明人黄章进钱静周健(51)Int.Cl.G06T17/00(2006.01)G06K9/00(2006.01)G06N3/04(2006.01)G06N3/08(2006.01)G06T7/11(2017.01)权利要求书1页说明书7页附图2页(54)发明名称一种基于单张人脸图片的三维人脸重建系统(57)摘要本发明公开一种基于单张人脸图片的三维人脸重建系统，属于计算机视觉与曲面重建技术领域。针对现有技术中存在的点云重建出的模型较为粗糙，像素层面信息建立的损失函数会导致卷积神经网络模型陷入局部次优解，三维人脸重建效果不够鲁棒的问题，本发明将人脸图片先通过检测模块进行人脸检测和特征点检测，然后通过回归模块回归三维人脸参数，再通过深度人脸特征提取模块提取人脸图片在深度卷积层上的特征，所述深度人脸特征提取模块在深层特征空间建立损失函数，优化卷积神经网络模型。它可以实现充分利用输入人脸图片和渲染人脸图片在深层特征空间的对应关系，训练端到端的三维人脸重建回归网络，提高三维人脸重建的质量。CN111951381ACN111951381A权利要求书1/1页1.一种基于单张人脸图片的三维人脸重建系统，其特征在于，包括检测模块、回归模块和深度人脸特征提取模块，人脸图片先通过检测模块进行人脸检测和特征点检测，然后通过回归模块回归三维人脸参数，训练时通过深度人脸特征提取模块提取的人脸图片在深度卷积层上的特征改进回归模块的重建效果。2.根据权利要求1所述的一种基于单张人脸图片的三维人脸重建系统，其特征在于，所述深度人脸特征提取模块采用深度人脸特征模型，将输入人脸图片和三维人脸模型渲染得到的图片同时输入到深度人脸特征模型中，在深层特征空间建立损失函数，优化卷积神经网络模型。3.根据权利要求2所述的一种基于单张人脸图片的三维人脸重建系统，其特征在于，所述损失函数为：Lloss(x)＝ωlandLland(x)+ωphotoLphoto(x)+ωdffLdff(x)+ωregLreg(x)，其中，x表示三维人脸参数，Lland(x)为特征点对齐的损失函数，Lphoto(x)为像素之间差异的损失函数，Ldff(x)为深度人脸特征(DFF)模型在深层特征空间建立的损失函数，Lreg(x)为正则化项，ωland、ωphoto、ωdff和ωreg均为损失函数的权重系数。4.根据权利要求3所述的一种基于单张人脸图片的三维人脸重建系统，其特征在于，深度人脸特征模型在深层特征空间建立的损失函数为其中i包括1至68的自然数，表示人脸特征点，和分别为人脸特征点在特征图D和特征图D’中对应的特征向量，fi∈{0，1}为人脸特征点的可见性权重。5.根据权利要求4所述的一种基于单张人脸图片的三维人脸重建系统，其特征在于，人脸特征点可见时可见性权重fi＝1，人脸特征点不可见时可见性权重fi＝0。6.根据权利要求3所述的一种基于单张人脸图片的三维人脸重建系统，其特征在于，损-6失函数的权重系数中，ωland＝400、ωphoto＝100、ωdff＝10以及ωreg＝1。7.根据权利要求2所述的一种基于单张人脸图片的三维人脸重建系统，其特征在于，深度人脸特征提取模块使用全透视投影经过一个可微分的渲染器将重建出的三维人脸模型渲染到二维平面上。8.根据权利要求1所述的一种基于单张人脸图片的三维人脸重建系统，其特征在于，所述回归模块采用VGG-16卷积神经网络回归出人脸图片对应的三维人脸参数。9.根据权利要求8所述的一种基于单张人脸图片的三维人脸重建系统，其特征在于，所述三维人脸参数包括三维形变模型形状参数、三维形变模型纹理参数、三维形变模型表情参数、相机旋转参数、相机平移参数和球谐光照系数。10.根据权利要求1所述的一种基于单张人脸图片的三维人脸重建系统，其特征在于，所述检测模块采用Dlib作为人脸检测算法，使用2D-to-3D-FAN(二维至三维人脸对齐网络，2D-to-3DFaceAlignmentNetwork)进行特征点检测。2CN111951381A说明书1/7页一种基于单张人脸图片的三维人脸重建系统技术领域[0001]本发明涉及计算机视觉与曲面重建技术领域，更具体地说，涉及一种基于单张人脸图片的三维人脸重建系统。背景技术[0002]在卷积神经网络(ConvolutionalNeuralNetworks,CNNs)出现之后，基于卷积神经