用于生成三维头像模型的方法和装置.pdf

(19)中华人民共和国国家知识产权局(12)发明专利申请(10)申请公布号CN106910247A(43)申请公布日2017.06.30(21)申请号201710164807.2G06T5/00(2006.01)(22)申请日2017.03.20(71)申请人厦门幻世网络科技有限公司地址361000福建省厦门市火炬高新区火炬园火炬路56-58号火炬广场南楼203-59(72)发明人黄锦池陈军宏(74)专利代理机构北京英赛嘉华知识产权代理有限责任公司11204代理人王达佐马晓亚(51)Int.Cl.G06T17/00(2006.01)G06T15/50(2011.01)G06T15/80(2011.01)G06T15/00(2011.01)权利要求书3页说明书15页附图5页(54)发明名称用于生成三维头像模型的方法和装置(57)摘要本申请公开了用于生成三维头像模型的方法和装置。该方法的一具体实施方式包括：获取用户的不同人脸姿态角度的多张人脸图像；使用所述多张人脸图像中人脸姿态角度最正的人脸图像建立初始三维人脸模型；使用所述多张人脸图像中除人脸姿态角度最正的人脸图像外的其他至少一张人脸图像对所述初始三维人脸模型进行深度矫正，得到已矫正三维人脸模型；使用所述多张人脸图像中的至少两张人脸图像进行多帧融合，得到三维人脸模型的二维纹理；渲染所述已矫正三维人脸模型以及所述二维纹理，以生成三维头像模型。该实施方式实现了以较低成本生成三维头像模型。CN106910247ACN106910247A权利要求书1/3页1.一种用于生成三维头像模型的方法，其特征在于，所述方法包括：获取用户的不同人脸姿态角度的多张人脸图像；使用所述多张人脸图像中人脸姿态角度最正的人脸图像建立初始三维人脸模型；使用所述多张人脸图像中除人脸姿态角度最正的人脸图像外的其他至少一张人脸图像对所述初始三维人脸模型进行深度矫正，得到已矫正三维人脸模型；使用所述多张人脸图像中的至少两张人脸图像进行多帧融合，得到三维人脸模型的二维纹理；渲染所述已矫正三维人脸模型以及所述二维纹理，以生成三维头像模型。2.根据权利要求1所述的方法，其特征在于，所述获取不同人脸姿态角度的多张人脸图像，包括：在预先设定的多个人脸姿态角度取值范围中，确定针对所述用户所采集的人脸图像集合中每张人脸图像的人脸姿态角度所属的人脸姿态角度取值范围；针对每个人脸姿态角度范围，选取出该人脸姿态角度范围对应的至少一张人脸图像。3.根据权利要求2所述的方法，其特征在于，在所述获取不同人脸姿态角度的多张人脸图像之前，所述方法包括：从对所述用户的人脸进行多角度拍摄而生成的视频的视频帧中采集所述人脸图像集合。4.根据权利要求2所述的方法，其特征在于，所述选取出该人脸姿态角度范围对应的至少一张人脸图像，包括：按照图像质量和/或人脸图像中的人脸表情，从该人脸姿态角度范围在所述人脸图像集合中对应的人脸图像中选取出至少一张人脸图像。5.根据权利要求4所述的方法，其特征在于，所述按照图像质量和/或人脸图像中的人脸表情，从该人脸姿态角度范围在所述人脸图像集合中对应的人脸图像中选取出至少一张人脸图像，包括：利用第一卷积神经网络模型计算出所述人脸图像集合中每张人脸图像的图像质量分值，和/或，利用第二卷积神经网络模型计算出所述人脸图像集合中每张人脸图像中人脸的人脸表情分值；按照人脸图像的图像质量分值和/或人脸表情分值，从该人脸姿态角度范围在所述人脸图像集合中对应的人脸图像中选取出至少一张人脸图像。6.根据权利要求1所述的方法，其特征在于，所述使用所述多张人脸图像中人脸姿态角度最正的人脸图像建立初始三维人脸模型，包括：采用可变形模板算法建立初始三维人脸模型。7.根据权利要求1所述的方法，其特征在于，所述使用所述所述多张人脸图像中除人脸姿态角度最正的人脸图像外的其他至少一张人脸图像对所述初始三维人脸模型进行深度矫正，得到已矫正三维人脸模型，包括：采用自阴影光照模型进行深度矫正。8.根据权利要求1所述的方法，其特征在于，所述使用所述多张人脸图像中的至少两张人脸图像进行多帧融合，得到三维人脸模型的二维纹理，包括：对所述至少两张人脸图像执行质量度提高操作；2CN106910247A权利要求书2/3页对质量度提高后的至少两张人脸图像进行多帧融合，以生成三维人脸模型的二维纹理。9.根据权利要求8所述的方法，其特征在于，所述对所述至少两张人脸图像执行质量度提高操作，包括：针对所述至少两张人脸图像的每一张人脸图像，将人脸图像的各个通道的通道值分别输入至预先训练的、用于执行质量度提高操作的第一反卷积神经网络模型，其中，所述第一反卷积神经网络模型用于表征质量度提高前的人脸图像的各个通道的通道值与质量度提高后的人脸图像的梯度场的对应关系；采用泊松方程，基于所述第一反卷积神经