三维人脸模型重建方法、装置、电子设备及存储介质.pdf

(19)中华人民共和国国家知识产权局(12)发明专利申请(10)申请公布号CN113902854A(43)申请公布日2022.01.07(21)申请号202111213213.9G06T7/90(2017.01)(22)申请日2021.10.18(71)申请人深圳追一科技有限公司地址518057广东省深圳市南山区粤海街道科技园社区科苑路8号讯美科技广场3号楼23A、23B(72)发明人刘炫鹏王鑫宇刘致远刘云峰(74)专利代理机构深圳智汇远见知识产权代理有限公司44481代理人蒋学超(51)Int.Cl.G06T17/00(2006.01)G06T7/33(2017.01)G06T7/73(2017.01)G06T7/80(2017.01)权利要求书6页说明书27页附图8页(54)发明名称三维人脸模型重建方法、装置、电子设备及存储介质(57)摘要本发明实施例涉及一种三维人脸模型重建方法、装置、电子设备及存储介质，包括：获取N个视角方向下目标对象的人脸图像对；针对任一视角方向下的人脸图像对，根据人脸图像对中的彩色图像和深度图像，确定目标彩色图像；将目标彩色图像输入至预设的图像算法插件，得到目标彩色图像中的人脸面部区域；根据人脸面部区域，将目标彩色图像转换为人脸面部掩码矩阵；利用人脸面部掩码矩阵，对深度图像进行处理得到目标深度图像，以及将目标深度图像转换为视角方向下目标对象的人脸点云；根据N个视角方向下所述目标对象的人脸点云，确定目标人脸点云，以及对目标人脸点云进行曲面重建，得到三维人脸模型。由此，可以实现更便捷、更高效地得到人脸点云。CN113902854ACN113902854A权利要求书1/6页1.一种三维人脸模型重建方法，其特征在于，所述方法包括：获取N个视角方向下目标对象的人脸图像对，所述人脸图像对包括彩色图像和深度图像；针对任一所述视角方向下的人脸图像对，根据所述人脸图像对中的所述彩色图像和所述深度图像，确定与所述深度图像对齐的目标彩色图像；将所述目标彩色图像输入至预设的图像算法插件，得到所述目标彩色图像中的人脸面部区域；根据所述人脸面部区域，将所述目标彩色图像转换为人脸面部掩码矩阵；利用所述人脸面部掩码矩阵，对所述深度图像进行处理得到目标深度图像，以及将所述目标深度图像转换为所述视角方向下所述目标对象的人脸点云；根据N个所述视角方向下所述目标对象的人脸点云，确定目标人脸点云，以及对所述目标人脸点云进行曲面重建，得到三维人脸模型。2.根据权利要求1所述的方法，其特征在于，所述获取N个视角方向下目标对象的人脸图像对，包括：控制图像采集设备在预设角度范围内进行旋转，所述预设角度范围以所述目标对象的人脸为中轴；以及当检测到所述图像采集设备旋转至任一预设的视角方向时，控制所述图像采集设备采集当前的视角方向上所述目标对象的人脸图像对；或者，控制位于N个视角方向上的图像采集设备同步采集所述目标对象的人脸图像对。3.根据权利要求1所述的方法，其特征在于，所述根据所述人脸图像对中的所述彩色图像和所述深度图像，确定与所述深度图像对齐的目标彩色图像，包括：针对所述人脸图像对中所述深度图像的任一深度像素点，将所述深度像素点的像素坐标及景深值转换为世界坐标系下的三维坐标；将所述三维坐标转换为目标像素坐标，所述目标像素坐标对应于所述图像对中的所述彩色图像的彩色像素点；从所述彩色图像的彩色像素点中，确定与所述目标像素坐标对应的目标彩色像素点；将所述目标彩色像素点对应的颜色值赋予给所述深度像素点；利用所述深度图像中各所述深度像素点对应的颜色值，生成与所述深度图像对齐的目标彩色图像。4.根据权利要求3所述的方法，其特征在于，所述将所述深度像素点的像素坐标及景深值转换为世界坐标系下的三维坐标，包括：将所述深度像素点的像素坐标及景深值输入至第一齐次转换公式，获得所述第一齐次转换公式输出的世界坐标系下的三维坐标；其中，所述第一齐次转换公式包括：2CN113902854A权利要求书2/6页所述Kd包括图像采集设备中深度感光模块的内参矩阵，所述Tw2d包括所述深度感光模块的外参矩阵，由旋转矩阵Rw2d和偏移向量tw2d组成，所述深度像素点的像素坐标包括(ud，vd)，所述zc包括所述景深值，所述三维坐标包括(xw，yw，zw)。5.根据权利要求3所述的方法，其特征在于，所述将所述三维坐标转换为目标像素坐标，包括：将所述三维坐标输入至第二齐次转换公式，获得所述第二齐次转换公式输出的目标像素坐标；其中，所述第二齐次转换公式包括：所述Kc包括图像采集设备中彩色感光模块的内参矩阵，所述Tw2c包括所述彩色感光模块的外参矩阵，由旋转矩阵Rw2c和偏移向量tw2c组成，所述三维坐标包括(xw，yw，zw)，所述深度像素点的目标像素坐标包括(uc，vc)。6.根据权利要求1所