预览加载中,请您耐心等待几秒...
1/10
2/10
3/10
4/10
5/10
6/10
7/10
8/10
9/10
10/10

亲,该文档总共16页,到这已经超出免费预览范围,如果喜欢就直接下载吧~

如果您无法下载资料,请参考说明:

1、部分资料下载需要金币,请确保您的账户上有足够的金币

2、已购买过的文档,再次下载不重复扣费

3、资料包下载后请先用软件解压,在使用对应软件打开

(19)中华人民共和国国家知识产权局(12)发明专利申请(10)申请公布号CN112734910A(43)申请公布日2021.04.30(21)申请号202110008709.6(22)申请日2021.01.05(71)申请人厦门美图之家科技有限公司地址361006福建省厦门市厦门火炬高新区软件园华讯楼C区B1F-089(72)发明人刘志辉张毓峰(74)专利代理机构北京清大紫荆知识产权代理有限公司11718代理人张卓(51)Int.Cl.G06T17/00(2006.01)G06T15/00(2011.01)G06K9/00(2006.01)G06K9/62(2006.01)G06N20/00(2019.01)权利要求书2页说明书9页附图4页(54)发明名称基于RGB单图实时人脸三维图像重建方法、装置及电子设备(57)摘要本申请实施例中提供了一种基于RGB单图实时人脸三维图像重建方法、装置及电子设备,所述方法包括接收单张RGB单图;将RGB单图输入至由人脸图像2D数据与人脸3D数据作为训练集且采用不同的损失监督方式训练得到人脸三维重建网络;将人脸三维重建网络中解码得到的UV形状图与UV纹理图组合得到重建后的人脸,通过模型变换矩阵渲染得到人脸三维图像。述方法还包括:对人脸三维重建网络的输出进行降维系数化,通过小模型学习人脸三维重建网络模型的拟合系数,得到实时人脸三维重建模型,在手机端实现实时高精度的人脸三维的重建。通过本申请的处理方案,提高了三维稠密人脸点的实时预测精度,提高了基于RGB单图实时人脸三维图像重建效果与速度。CN112734910ACN112734910A权利要求书1/2页1.一种基于RGB单图实时人脸三维图像重建方法,其特征在于,所述方法包括:接收单张RGB单图;将RGB单图输入至由人脸图像2D数据与人脸3D数据作为训练集且采用不同的损失监督方式训练得到人脸三维重建网络;将人脸三维重建网络中解码得到的UV形状图与UV纹理图组合得到重建后的人脸,通过模型变换矩阵渲染得到人脸三维图像。2.根据权利要求1所述的基于RGB单图实时人脸三维图像重建方法,其特征在于,所述人脸图像2D数据中标注稀疏的2D人脸点,所述稀疏的2D人脸点包括五官及轮廓点。3.根据权利要求1所述的基于RGB单图实时人脸三维图像重建方法,其特征在于,所述人脸3D数据为实验环境采集到的人脸三维数据,具有真实的3D点标签,包括:通过三维采集设备采集的人脸三维数据;对采集的人脸三维数据进行标准化注册;添加多种表情、角度和光照变化,模拟真实环境下的人脸情况;通过渲染得到对应的人脸3D数据。4.根据权利要求3所述的基于RGB单图实时人脸三维图像重建方法,其特征在于,所述人脸3D数据在训练时,根据所述3D点标签,直接监督生成对应的UV形状图、UV纹理图和模型变换矩阵参数。5.根据权利要求1所述的基于RGB单图实时人脸三维图像重建方法,其特征在于,所述人脸图像2D数据通过约束条件直接回归UV形状图、UV纹理图和模型变换矩阵参数;所述约束条件包括第一约束条件和第二约束条件,所述第一约束条件为重建人脸投影之后的稀疏人脸点与原图的稀疏人脸点一致,所述第二约束条件为通过重建后的人脸的特征要与输入图的人脸特征一致。6.根据权利要求5所述的基于RGB单图实时人脸三维图像重建方法,其特征在于,所述人脸图像2D数据通过约束条件直接回归的UV形状图、UV纹理图通过GAN网络后判别其是否是真实的形状和纹理用于约束生成的质量。7.根据权利要求1所述的基于RGB单图实时人脸三维图像重建方法,其特征在于,所述将人脸三维重建网络中解码得到的UV形状图与UV纹理图组合得到重建后的人脸,通过模型变换矩阵渲染得到人脸三维图像,包括:采用U型网络将输入图像进行编码;编码输出三个分支分别进行解码,第一个分支解码得到UV形状图,第二个分支解码得到UV纹理图,第三个分支解码得到模型变换矩阵参数;将所述UV形状图与所述UV纹理图组合得到重建后的人脸,根据所述模型变换矩阵参数通过模型变换矩阵渲染得到人脸三维图像。8.根据权利要求1所述的基于RGB单图实时人脸三维图像重建方法,其特征在于,所述方法还包括:对人脸三维重建网络的输出进行降维系数化,通过小模型学习人脸三维重建网络模型的拟合系数,得到实时人脸三维重建模型。9.根据权利要求8所述的基于RGB单图实时人脸三维图像重建方法,其特征在于,所述对人脸三维重建网络的输出进行降维系数化,包括:将所述UV形状图与所述UV纹理图分别进行pca分解;选择主成份维度分别是60维,1002CN112734910A权利要求书2/2页维,进行降维系数化,同时得到形状基和纹理基。10.一种基于RGB单图实时人脸三维图像重建装置,其特征在于,包括:图像获取装置,所述图像获取装置接收单张