基于人脸RGB图像的三维人脸重建方法及装置.pdf

(19)国家知识产权局(12)发明专利申请(10)申请公布号CN114742972A(43)申请公布日2022.07.12(21)申请号202210367566.2(22)申请日2022.04.08(71)申请人中国科学院计算技术研究所地址100190北京市海淀区中关村科学院南路6号(72)发明人纪昱锋张杰山世光(74)专利代理机构北京泛华伟业知识产权代理有限公司11280专利代理师王勇苏晓丽(51)Int.Cl.G06T17/20(2006.01)G06T15/00(2011.01)G06N3/04(2006.01)G06N3/08(2006.01)权利要求书2页说明书9页附图2页(54)发明名称基于人脸RGB图像的三维人脸重建方法及装置(57)摘要本申请提供了基于人脸RGB图像的三维人脸重建方法及装置，通过第一级残差网络回归三维形变模型的几何系数和颜色系数；基于这些系数重构三维人脸形状，并将该三维人脸形状投影、渲染得到二维人脸图像；将该二维人脸图像和原始RGB作为输入提供给第二残差网络回归几何系数和颜色系数的残差，将第一级残差网络得到的系数和第二残差网络得到系数的残差相加，得到最终的三维形变模型系数。通过这种两阶段的残差网络结构，实现了更加精确的系数回归，提高了人脸重建精度。CN114742972ACN114742972A权利要求书1/2页1.一种三维形变模型系数回归模型的训练方法，包括：从样本集选择其中一个人脸RGB图像作为输入提供至第一级残差网络，通过第一级残差网络对三维形变模型的系数进行回归；利用第一级残差网络输出的各系数的预测值重构第一个三维人脸形状，并基于重构的第一个三维人脸形状渲染得到第一个二维人脸图像；将第一个二维人脸图像与所述人脸RGB图像一起作为输入提供至第二级残差网络，通过第二级残差网络对各系数的预测值的残差进行回归；将经由第一级残差网络得到的各系数的预测值和经由第二级残差网络得到的各系数的预测值的残差相加得到三维形变模型的各个系数；将根据所得到的三维形变模型的各个系数重构的第二个三维人脸形状和相应的第二个二维人脸图像与所述人脸RGB图像进行比较来计算损失；基于所计算的损失对第一级残差网络和第二级残差网络的参数进行调整；不断重复上述步骤，直到三维形变模型的各个系数收敛。2.根据权利要求1所述的方法，三维形变模型的系数包括几何系数和颜色系数，所述几何系数包括用于描述人脸的形状、表情和姿态的系数，所述颜色系数用于描述人脸的纹理和光照的系数。3.根据权利要求2所述的方法，其中所计算的损失包括：基于几何系数计算的几何损失、基于颜色系数计算的像素级损失和基于各系数的预测值及其残差计算的正则损失。4.根据权利要求3所述的方法，所述几何损失是根据下面的方式计算的：将第二个三维人脸形状中的关键点集合投影为二维点集；从该二维点集中选择位于第二个二维人脸图像中人脸区域的边缘上的点；计算从该二维点集中所选择的点与所述人脸RGB图像中标注的位于侧脸的每个标注点之间的距离；以与每个标注点距离最近的该二维点集中的点替换所述第二个三维人脸形状中的对应关键点；基于经更新后的第二个三维人脸形状中的关键点和所述人脸RGB图像中标注点来计算几何损失。5.根据前述权利要求中任一项所述的方法，所述方法还包括：将利用第一级残差网络输出的各系数的预测值获取的第一个二维人脸图像中面部区域合并到所述人脸RGB图像中得到合成图像；将合成图像作为输入提供至第一级残差网络得到第二组预测值；将所述第二组预测值与先前利用第一级残差网络输出的各系数的预测值进行比较来计算自监督损失。6.根据权利要求5所述的方法，所计算的损失还包括所述自监督损失。7.根据权利要求5中所述的方法，其中经由第一级残差网络回归的三维形变模型的系数包括形状参数、表情参数、姿态参数、纹理参数和光照参数；并且经由第二级残差网络回归的各系数的预测值的残差包括形状参数残差、表情参数残差、纹理参数残差和光照参数残差，其中第二级残差网络的姿态参数直接采用来自第一级残差网络回归的姿态参数的预测值；以及2CN114742972A权利要求书2/2页其中第二级残差网络还设置有一个残差回归分支，用于回归的三维形变模型中所有关键点的深度坐标残差；以及所述方法还包括：将所述深度坐标残差与第二个三维人脸形状叠加来得到第三个三维人脸形状，其中用于计算损失的第二个二维人脸图像是基于第三个三维人脸形状进行渲染后得到的。8.一种基于人脸RGB图像的三维人脸重建方法，包括：将收到的人脸RGB图像作为输入提供至根据权利要求1‑7中任一项所述的方法预先训练的三维形变模型系数回归模型，以得到与该人脸RGB图像对应的三维形变模型系数；基于所得到的三维形变模型系数重构三维人脸形状。9.一种计算机可读存储介质，其上存储有计算机程序，所述程序