基于单张人脸图像的实时全自动高质量三维人脸重建方法.pdf

(19)中华人民共和国国家知识产权局(12)发明专利申请(10)申请公布号CN107358648A(43)申请公布日2017.11.17(21)申请号201710581769.0(22)申请日2017.07.17(71)申请人中国科学技术大学地址230026安徽省合肥市包河区金寨路96号(72)发明人张举勇郭玉东(74)专利代理机构北京凯特来知识产权代理有限公司11260代理人郑立明郑哲(51)Int.Cl.G06T17/00(2006.01)G06N3/08(2006.01)权利要求书2页说明书6页附图2页(54)发明名称基于单张人脸图像的实时全自动高质量三维人脸重建方法(57)摘要本发明公开了一种基于单张人脸图像的实时全自动高质量三维人脸重建方法，包括：对初始的人脸图像数据集合，拟合其参数化模型系数与人脸区域每个像素点沿着深度方向的偏移，得到人脸图像数据集合T；改变集合T中的表情和姿态系数后，渲染人脸图片，得到光滑的人脸图像数据集合C；改变集合T中的偏移后，渲染人脸图片，得到带细节的人脸图像数据集合F；利用集合C训练深度神经网络模型CoarseNet，并利用集合F训练深度神经网络模型FineNet；利用训练好的深度神经网络模型CoarseNet和FineNet，对输入的单张人脸图像进行处理，得到参数化模型系数以及像素点沿着深度方向的偏移，从而重建出三维人脸。该方法避免了复杂耗时的优化过程，能够快速、高质量的重建三维人脸图像。CN107358648ACN107358648A权利要求书1/2页1.一种基于单张人脸图像的实时全自动高质量三维人脸重建方法，其特征在于，包括：对初始的人脸图像数据集合，拟合其参数化模型系数与人脸区域每个像素点沿着深度方向的偏移，得到人脸图像数据集合T；改变人脸图像数据集合T中的表情和姿态系数后，渲染人脸图片，得到光滑的人脸图像数据集合C；改变人脸图像数据集合T中的偏移后，渲染人脸图片，得到带细节的人脸图像数据集合F；利用光滑的人脸图像数据集合C训练深度神经网络模型CoarseNet，并利用带细节的人脸图像数据集合F训练深度神经网络模型FineNet；利用训练好的深度神经网络模型CoarseNet和FineNet，对输入的单张人脸图像进行处理，得到参数化模型系数以及像素点沿着深度方向的偏移，从而重建出三维人脸。2.根据权利要求1所述的一种基于单张人脸图像的实时全自动高质量三维人脸重建方法，其特征在于，利用人脸颜色信息对参数化模型系数χ进行拟合：E(χ)＝Econ+wlanElan+wregEreg.上式中，Econ为颜色项衡量由渲染的图片和实际图片的差异；Elan为关键点约束，使三维点的投影和图像上检测到的关键点尽可能接近；Ereg是正则项，以保证参数化模型系数χ中的身份αid、表情αexp及纹理αalb系数在合理的范围内；wlan和wreg分别是Elan和Ereg相对于Econ的权重；具体的：其中，CS是由χ渲染的图片，CI是输入的图片，P是所有像素的集合。其中，是关键点的集合，i为关键点的序号，fi为图像平面的二维关键点，为投影矩阵，其中的s为比例系数，Vi为网格上的三维关键点，为平移向量，R为旋转矩阵；其中，为对应的主成分方向的标准差，αid,j、αalb,j分别为第j个分量的身份、纹理系数；σid,j、σalb,j分别为第j个分量的身份、纹理系数对应主成分方向的标准差；αexp,k为第k个分量的表情系数，σexp,k为第k个分量的表情系数对应主成分方向的标准差；利用人脸颜色信息对人脸区域每个像素点沿着深度方向的偏移进行拟合，假设所有像素偏移构成向量d，则拟合方式如下：2CN107358648A权利要求书2/2页其中，为正则项，使d接近0；μ2||Ld||1为光滑约束项，Ld表示偏移的拉普拉斯，μ1和μ2分别是和||Ld||1相对于Econ的权重。3.根据权利要求1所述的一种基于单张人脸图像的实时全自动高质量三维人脸重建方法，其特征在于，所述人脸图像数据集合T中包括：若干彩色人脸图像以及对应的标签；每一彩色人脸图像均为RGB三通道图像；标签分为两部分，一部分为参数化模型系数，包括身份、表情、纹理、光照以及姿态系数；另一部分为人脸区域每个像素点沿着深度方向的偏移。4.根据权利要求1所述的一种基于单张人脸图像的实时全自动高质量三维人脸重建方法，其特征在于，所述光滑的人脸图像数据集合C中包括：若干彩色人脸图像以及对应的标签；每一彩色人脸图像均为RGB三通道图像；标签是参数化模型系数，包括身份、表情以及姿态系数。5.根据权利要求1所述的一种基于单张人脸图像的实时全自动高质量三维人脸重建方法，其特征在于，所述带细节的人脸图像数据集合F中包括：若干灰度人脸图像、粗糙深度图像以及对应的标签；每一灰度人脸图像均为