基于单张图片下三维人脸重建方法.pdf

(19)国家知识产权局(12)发明专利申请(10)申请公布号CN116188691A(43)申请公布日2023.05.30(21)申请号202310167305.0G06V40/16(2022.01)(22)申请日2023.02.27G06V10/766(2022.01)G06V10/82(2022.01)(71)申请人云南大学G06N3/0464(2023.01)地址650091云南省昆明市五华区翠湖北G06N3/0455(2023.01)路2号G06N3/048(2023.01)申请人云南览易网络科技有限责任公司G06N3/084(2023.01)(72)发明人段清廖赟刘俊晖潘志轩邸一得(74)专利代理机构昆明金科智诚知识产权代理事务所(普通合伙)53216专利代理师胡亚兰(51)Int.Cl.G06T17/00(2006.01)G06T15/00(2011.01)G06T15/50(2011.01)权利要求书2页说明书5页附图3页(54)发明名称基于单张图片下三维人脸重建方法(57)摘要本发明提供了一种基于单张图片下三维人脸重建方法，使用数据增强方法，对图像进行随机旋转，随机调色，随机加噪声。将图像输入主干网络，学习特征，并通过损失函数进行回归运算。输出人脸UV位置图，最后将UV位置图渲染成3D人脸模型，并按照评估指标客观指标，并设计评估指标进行客观评估。解决了单张图片下三维人脸重建问题，具有非常理想的重建能力和精准度。CN116188691ACN116188691A权利要求书1/2页1.基于单张图片下三维人脸重建方法，其特征在于，包括以下步骤：S1、对图像进行数据增强；S2、将图像输入主干网络，输出UV位置图；S3、学习特征，并通过损失函数进行回归运算；S4、提取UV位置图中关键点；S5、UV位置图渲染成3D人脸模型。2.根据权利要求1所述的基于单张图片下三维人脸重建方法，其特征在于，所述S1中数据增强的方法具体为：选择不同人物的不同角度的人脸图像，对这些训练图像进行随机旋转，随机调色，添加随机噪声。3.根据权利要求2所述的基于单张图片下三维人脸重建方法，其特征在于，对训练图像分别在‑90°～90°范围内随机旋转，在RGB通道上R、G、B值分别乘上0.6～1.4范围内的一个数值进行随机调色，添加随机噪声的方式为随机擦除两个区域。4.根据权利要求1所述的基于单张图片下三维人脸重建方法，其特征在于，S2具体步骤为：主干网络采用编码器‑解码器结构，网络接收大小为(3,256,256)的数据，通过设计的E2CNN残差网络结构的第0层到第3层，输出大小为(128,32,32)的特征，再通过Transformer的自注意力模块，学习图像的全局特征，并输出大小为(512,8,8)的特征，最后将特征(512,8,8)特征输入到由转置卷积层组成解码器中，输出一张(3,256,256)的UV位置图。5.根据权利要求4所述的基于单张图片下三维人脸重建方法，其特征在于，所述E2CNN残差网络的残差块使用了跳跃链接，E2CNN块放置在编码器头部，用于捕捉人脸的局部特征，TRANSFORMER块放置在编码器尾部，用于捕捉人脸的全局特征，在E2CNN残差网络前部设置4个旋转等变残差卷积层，分别对特征图进行残差卷积操作，学习人脸的特征信息。6.根据权利要求4所述的基于单张图片下三维人脸重建方法，其特征在于，所述编码器包含E2CNN0、E2CNN1、E2CNN2、E2CNN3、TRANSFORMER0、TRANSFORMER1、TRANSFORMER2，所述解码器部分包含17个反卷积层。7.根据权利要求1所述的基于单张图片下三维人脸重建方法，其特征在于，所述S3中，设计的损失函数Loss为加权L2函数，其公式如下：其中P(x,y)是指输出的UV图中，点(x,y)的像素值，指groundtruthUV图点(x,y)的像素值，W(x,y)指点(x,y)的权。8.根据权利要求1所述的基于单张图片下三维人脸重建方法，其特征在于，所述S4中的UV位置图记录了人脸超过5万个点的三维信息，包括轮廓信息和姿势信息。9.根据权利要求1所述的基于单张图片下三维人脸重建方法，其特征在于，所述S5的具体步骤如下：提取UV图通道信息，进行三维人脸重建，UV图中的点跟三维人脸的点是一一对应的，UV图有256×256个点，重建的三维人脸也有256×256个点，UV图与三维点空间信息关系如下：U(ui,vi)＝(xi,yi,zi)2CN116188691A权利要求书2/2页其中(xi,yi,zi)是三维网格中顶点i的三维坐标，U(.,.)是UV图的二维表达，(ui,vi)是该点对应的二维UV坐标。10.根据权利要求9所述的基于单张图片下三维人脸重建方法，其特征在于，设计评估指标进行客