一种基于单目相机的透视投影下三维人脸重建方法.pdf

(19)国家知识产权局(12)发明专利申请(10)申请公布号CN115761116A(43)申请公布日2023.03.07(21)申请号202211370366.9G06V40/16(2022.01)(22)申请日2022.11.03G06Q10/06(2023.01)G06N3/04(2023.01)(71)申请人云南大学G06N3/08(2023.01)地址650091云南省昆明市五华区翠湖北路2号申请人云南览易网络科技有限责任公司(72)发明人廖赟邸一得周豪朱开军(74)专利代理机构昆明金科智诚知识产权代理事务所(普通合伙)53216专利代理师胡亚兰(51)Int.Cl.G06T17/00(2006.01)G06T7/10(2017.01)G06T7/73(2017.01)G06T7/80(2017.01)权利要求书2页说明书6页附图4页(54)发明名称一种基于单目相机的透视投影下三维人脸重建方法(57)摘要本发明公开了一种基于单目相机的透视投影下三维人脸重建方法，包括以下步骤：S1：使用数据增强方法，对人脸图像进行裁剪和分割，并对分割图像进行背景填充，得到填充图像；S2：将S1中生成的填充图像和分割图像输入深度学习主干网络中并输出结构特征图；S3：学习人脸的特征信息，并通过损失函数进行回归运算；S4：分别计算人脸的三维点和人脸的旋转自由度；S5：三维人脸重建，并通过评估指标进行客观评估。本发明解决了现有人脸重建方法中人脸的细节损失过多的问题。CN115761116ACN115761116A权利要求书1/2页1.一种基于单目相机的透视投影下三维人脸重建方法，其特征在于，包括以下步骤：S1：使用数据增强方法，对人脸图像进行裁剪和分割，并对分割图像进行背景填充，得到填充图像；S2：将S1中生成的填充图像和分割图像输入深度学习主干网络中并输出结构特征图；S3：学习人脸的特征信息，并通过损失函数进行回归运算；S4：分别计算人脸的三维点和人脸的旋转自由度；S5：三维人脸重建，并通过评估指标进行客观评估。2.根据权利要求1所述的一种基于单目相机的透视投影下三维人脸重建方法，其特征在于，所述S1包括：S11：使用FaceX‑Zoo框架进行人脸识别，将人脸识别出后，对人脸图像进行裁剪并分割，对图像进行裁剪和分割，并生成人脸的分割图像；S12：在进行填充时，将S11步骤生成的人脸分割图像，放在分割前的原图对应的位置，并将原图的其他位置进行填充，所填充的信息都是0。3.根据权利要求1所述的一种基于单目相机的透视投影下三维人脸重建方法，其特征在于，所述S2中，主干网络由多个残差卷积层和Transformer模块组成，其中各残差卷积层依次相连，Transformer模块与最后一个残差卷积层相连。4.根据权利要求1所述的一种基于单目相机的透视投影下三维人脸重建方法，其特征在于，所述S3具体为：将S2生成的特征图再输出到全连接层，将所有特征全部综合起来，学习人脸的所有特征信息，并通过回归损失函数进行反向传播回归运算。5.根据权利要求1或4所述的一种基于单目相机的透视投影下三维人脸重建方法，其特征在于，所述回归损失函数为smoothL1函数，其公式如下：其中，x表示目标值y和预测值y′之间的差值，即x＝y‑y′。6.根据权利要求1所述的一种基于单目相机的透视投影下三维人脸重建方法，其特征在于，所述S4中人脸的三维点由S1所述的分割图像通过S2中的主干网络和S3中的损失函数构成的深度学习模型通过反向传播和梯度下降自动学习得到，人脸的旋转自由度由S1所述的填充图像通过S2中的主干网络和S3中的损失函数构成的深度学习模型通过反向传播和梯度下降自动学习得到。7.根据权利要求1所述的一种基于单目相机的透视投影下三维人脸重建方法，其特征在于，所述S5中三维人脸重建的具体方法为：通过旋转自由度将三维点和人脸精确对准，将精确对准的三维点用线性内插法进行连线；通过各三维点之间的连线，实现人脸的三维结构重构，生成三维的重构图。8.根据权利要求1所述的一种基于单目相机的透视投影下三维人脸重建方法，其特征在于，所述S5中客观评估具体为：测量三维重构图中的顶点和人脸姿态在相机空间中的坐标，计算四个变换后的顶点：2CN115761116A权利要求书2/2页其中，Xgt表示人脸图像标签数据中的顶点，Rgt表示人脸图像标签数据中的旋转矩阵，tgt表示人脸图像标签数据的平移矢量；Xpred表示三维重构图中的顶点，Rpred表示三维重构图中顶点的旋转矩阵，tpred表示三维重构图中顶点的平移矢量；计算一组(X1,X2)、(X1,X3)、(X1,X4)的L2距离，并将距离合并成最终的距离误差：distance＝||X1‑X2||2+||X1‑X3||2+10||X1‑X4||2计算出的距