人脸重建和遮挡区域识别方法、装置、设备及存储介质.pdf

(19)国家知识产权局(12)发明专利申请(10)申请公布号CN115880748A(43)申请公布日2023.03.31(21)申请号202211328264.0(22)申请日2022.10.27(71)申请人百果园技术（新加坡）有限公司地址巴西班让路枫树商业城30号楼15层31A(72)发明人汪叶娇约翰·尤迪·阿迪库苏马(74)专利代理机构北京泽方誉航专利代理事务所(普通合伙)11884专利代理师徐濛(51)Int.Cl.G06V40/16(2022.01)G06V10/82(2022.01)G06V10/774(2022.01)G06T17/00(2006.01)权利要求书2页说明书8页附图3页(54)发明名称人脸重建和遮挡区域识别方法、装置、设备及存储介质(57)摘要本申请实施例公开了一种人脸重建和遮挡区域识别方法、装置、设备及存储介质，该方法包括：将人脸图像输入至第一网络结构，通过所述第一网络结构输出所述人脸图像在进行三维重建时的重建参数向量；基于所述重建参数向量进行所述人脸图像的三维重建生成三维人脸信息；对所述三维人脸信息进行渲染和映射处理生成包含网络分割数据的二维人脸信息；获取所述第一网络结构提取的深度特征图，基于所述深度特征图以及所述二维人脸信息构造图结构信息；将所述图结构信息输入至第二网络结构，通过所述第二网络结构输出所述人脸图像对应的遮挡区域。本方案优化了整体的资源部署，能够满足并行任务多且实时性要求高的应用场景，遮挡区域判定的精确性更高。CN115880748ACN115880748A权利要求书1/2页1.人脸重建和遮挡区域识别方法，其特征在于，包括：将人脸图像输入至第一网络结构，通过所述第一网络结构输出所述人脸图像在进行三维重建时的重建参数向量；基于所述重建参数向量进行所述人脸图像的三维重建生成三维人脸信息；对所述三维人脸信息进行渲染和映射处理生成包含网络分割数据的二维人脸信息；获取所述第一网络结构提取的深度特征图，基于所述深度特征图以及所述二维人脸信息构造图结构信息；将所述图结构信息输入至第二网络结构，通过所述第二网络结构输出所述人脸图像对应的遮挡区域。2.根据权利要求1所述的人脸重建和遮挡区域识别方法，其特征在于，所述重建参数向量包括人脸特征向量、人脸表情向量和三维人脸系数向量，所述基于所述重建参数向量进行所述人脸图像的三维重建生成三维人脸信息，包括：基于所述人脸特征向量、所述人脸表情向量、所述三维人脸系数向量以及预设的平均人脸形状信息进行三维人脸点云的重建，得到点云重建信息；基于所述三维人脸系数向量以及预设的平均人脸纹理信息和人脸基底信息进行人脸纹理的重建，得到人脸纹理信息；基于所述点云重建信息和所述人脸纹理信息生成三维人脸信息。3.根据权利要求1所述的人脸重建和遮挡区域识别方法，其特征在于，所述对所述三维人脸信息进行渲染和映射处理生成包含网络分割数据的二维人脸信息，包括：通过渲染器进行所述三维人脸信息的渲染得到二维人脸图像；基于所述三维人脸信息中的拓扑结构，将所述三维人脸信息中的人脸三维点对数据映射至所述二维人脸图像中生成包含网络分割数据的二维人脸信息。4.根据权利要求1‑3中任一项所述的人脸重建和遮挡区域识别方法，其特征在于，所述基于所述深度特征图以及所述二维人脸信息构造图结构信息，包括：基于所述二维人脸信息中的网络分割数据对所述深度特征图进行分割处理得到三角片面分割结果；依据所述三角片面分割结果中的顶点联通关系以及点对距离进行邻接矩阵的构造得到图结构信息。5.根据权利要求1‑3中任一项所述的人脸重建和遮挡区域识别方法，其特征在于，所述第二网络结构包括图卷积神经网络，所述通过所述第二网络结构输出所述人脸图像对应的遮挡区域，包括：通过所述图卷积神经网络对所述图结构信息中的三维人脸顶点进行分类；基于分类结果输出所述人脸图像对应的遮挡区域。6.根据权利要求1‑3中任一项所述的人脸重建和遮挡区域识别方法，其特征在于，在所述通过所述第二网络结构输出所述人脸图像对应的遮挡区域之后，还包括：基于所述人脸图像、所述二维人脸信息以及所述遮挡区域进行特效渲染处理，对处理结果进行显示。7.根据权利要求6所述的人脸重建和遮挡区域识别方法，其特征在于，所述基于所述人脸图像、所述二维人脸信息以及所述遮挡区域进行特效渲染处理，包括：2CN115880748A权利要求书2/2页对所述遮挡区域使用原图遮挡物进行渲染，对所述遮挡区域以外的人脸图像部分，基于所述三维人脸信息进行渲染。8.人脸重建和遮挡区域识别装置，其特征在于，包括：参数向量生成模块，配置为将人脸图像输入至第一网络结构，通过所述第一网络结构输出所述人脸图像在进行三维重建时的重建参数向量；三维信息确定模块，配置为基于所述重建参数向量进行所述人脸图像的三维重建生成三维人