人脸模型的构建方法、人脸识别方法、装置及设备.pdf

(19)中华人民共和国国家知识产权局(12)发明专利申请(10)申请公布号CN110569768A(43)申请公布日2019.12.13(21)申请号201910806238.6(22)申请日2019.08.29(71)申请人四川大学地址610065四川省成都市一环路南一段24号(72)发明人赵启军梁洁涂欢刘峰(74)专利代理机构四川力久律师事务所51221代理人冯精恒(51)Int.Cl.G06K9/00(2006.01)G06T17/00(2006.01)G06T15/00(2011.01)G06F16/51(2019.01)权利要求书3页说明书11页附图3页(54)发明名称人脸模型的构建方法、人脸识别方法、装置及设备(57)摘要本发明公开了一种人脸模型的构建方法、人脸识别法、装置及设备。人脸模型构建方法包括，先利用二维图像的特征点作为输入通过训练得到的一组级联回归模型或非线性回归模型重建三维人脸形状；然后提出一种基于卷积金字塔的三维人脸纹理重建算法，对重建后的三维人脸形状进行纹理重建，算法包括纹理映射和纹理融合两个阶段，可以很好地消除多面照间的光照差异恢复逼真的三维人脸纹理信息，得到带有完整纹理的三维人脸模型。本发明通过渲染三维人脸模型得到多视角人脸图像，根据多视角人脸图像可构建人脸数据库，利用人脸数据库实现人脸识别，大大提高了识别率。CN110569768ACN110569768A权利要求书1/3页1.一种人脸模型的构建方法，其特征在于，包括以下步骤：利用同一人的X面照进行三维人脸形状重建，X为正整数，且X≥3；利用X面照和重建后的三维人脸形状进行纹理重建，得到纹理重建后的三维人脸形状，完成三维人脸模型的构建。2.根据权利要求1所述的人脸模型的构建方法，其特征在于，利用纹理重建后的三维人脸形状渲染合成多视角人脸图像，所述多视角人脸图像用于构建人脸数据库。3.根据权利要求1所述的人脸模型的构建方法，其特征在于，利用级联回归模型对同一人的X面照进行三维人脸形状重建，包括以下步骤：S1、数据准备分别提取所述X面照的二维特征点，将所述X面照的二维特征点串联成一个向量，作为二维特征点真实值；采集真实的三维人脸形状，作为三维人脸形状真实值；获取初始化的三维人脸形状；S2、级联回归模型训练，包括：S21、根据所述二维特征点真实值与三维人脸形状上对应索引的特征点，分别得到X面照中X个视角的投影矩阵；S22、利用所述的投影矩阵和三维人脸形状的特征点，计算三维特征点投影到二维图像中对应的二维特征点；S23、利用所述二维特征点真实值和所述三维投影到二维的二维特征点，计算二维特征点的调整量，利用所述三维人脸形状真实值和三维人脸形状，计算三维人脸形状调整量；S24、根据所述二维特征点的调整量和三维人脸形状调整量，计算级联回归模型；利用所述级联回归模型、三维人脸形状和二维特征点调整量，计算三维人脸形状的更新量，对三维人脸形状进行更新；更新后的三维人脸形状重复步骤S21-S24，直到三维人脸形状投影到二维图像中对应的特征点与二维特征点真实值之间的差异小于自定义阈值，训练结束，得到多级级联回归模型；S3、三维人脸重建，包括：S31、提取进行三维重建的X面照的二维特征点，将所述X面照的二维特征点串联成一个向量，作为二维特征点真实值，获取初始化的三维人脸形状；S32、利用所述特征点真实值、三维人脸形状和步骤S24训练得到的级联回归模型，对三维人脸形状进行更新；更新后的三维人脸形状重复步骤S32，直到每级的级联回归模型都用于三维人脸形状更新，重建完毕，得到所述X面照对应的三维人脸形状。4.根据权利要求3所述的人脸模型的构建方法，其特征在于，利用以多层感知器网络为核心的非线性回归模型，对同一人的X面照进行三维人脸形状重建，包括以下步骤：A1、训练数据准备分别提取所述X面照的二维特征点，将所述X面照的二维特征点串联成一个向量，作为二维特征点真实值；采集真实的三维人脸形状，作为三维人脸形状真实值；获取初始化的三维人脸形状；A2、非线性回归模型训练，包括：2CN110569768A权利要求书2/3页A21、根据所述二维特征点真实值与三维人脸形状上对应索引的特征点，分别得到X面照中三个视角的投影矩阵；A22、利用所述的投影矩阵和三维人脸形状的特征点计算三维特征点投影到二维图像中对应的二维特征点；A23、利用所述二维特征点真实值和所述三维特征点投影到二维图像中的二维特征点，计算二维特征点的调整量，利用所述三维人脸形状真实值和所述三维人脸形状，计算三维人脸形状调整量；A24、将所述二维特征点的调整量作为多层感知器网络的输入，三维人脸形状调整量作为网络输出的监督信号，训练网络，直到网络收敛，输出三维人脸形状的更新量，所述三维人脸形状、三维人脸形状的更新量，计算更新三维人脸