三维人脸模型重建方法、装置、电子设备及存储介质.pdf

(19)中华人民共和国国家知识产权局(12)发明专利申请(10)申请公布号CN113902850A(43)申请公布日2022.01.07(21)申请号202111210763.5G06T7/90(2017.01)(22)申请日2021.10.18(71)申请人深圳追一科技有限公司地址518057广东省深圳市南山区粤海街道科技园社区科苑路8号讯美科技广场3号楼23A、23B(72)发明人刘炫鹏杨国基刘致远刘云峰(74)专利代理机构深圳智汇远见知识产权代理有限公司44481代理人刘洁(51)Int.Cl.G06T17/00(2006.01)G06T7/33(2017.01)G06T7/73(2017.01)G06T7/80(2017.01)权利要求书6页说明书24页附图8页(54)发明名称三维人脸模型重建方法、装置、电子设备及存储介质(57)摘要本发明实施例提供了一种三维人脸模型重建方法、装置、电子设备及存储介质，所述方法包括：获取n个视角方向下目标人脸的图像对，其中，图像对包括彩色图像和深度图像；针对任一视角方向下目标人脸的图像对，根据图像对中的彩色图像和深度图像，确定与深度图像对齐的目标彩色图像；确定目标彩色图像中人脸面部区域，并根据人脸面部区域，将目标彩色图像转换为人脸面部掩码矩阵；利用人脸面部掩码矩阵，对深度图像进行处理得到目标深度图像，将目标深度图像转换为视角方向下目标人脸的人脸点云；根据n个视角方向下目标人脸的人脸点云，确定目标人脸点云，并对目标人脸点云进行曲面重建，得到三维人脸模型。CN113902850ACN113902850A权利要求书1/6页1.一种三维人脸模型重建方法，其特征在于，所述方法包括：获取n个视角方向下目标人脸的图像对，其中，所述图像对包括彩色图像和深度图像；针对任一视角方向下目标人脸的所述图像对，根据所述图像对中的所述彩色图像和所述深度图像，确定与所述深度图像对齐的目标彩色图像；确定所述目标彩色图像中人脸面部区域，并根据所述人脸面部区域，将所述目标彩色图像转换为人脸面部掩码矩阵；利用所述人脸面部掩码矩阵，对所述深度图像进行处理得到目标深度图像，将所述目标深度图像转换为所述视角方向下目标人脸的人脸点云；根据n个所述视角方向下目标人脸的所述人脸点云，确定目标人脸点云，并对所述目标人脸点云进行曲面重建，得到三维人脸模型。2.根据权利要求1所述的方法，其特征在于，所述获取n个视角方向下目标人脸的图像对，包括：以目标人脸为中轴，在预设角度范围内控制图像采集设备按照预设的旋转角度进行旋转；以及在每次控制所述图像采集设备旋转所述预设的旋转角度之后，调用所述图像采集设备采集目标人脸的图像对；或者，以目标人脸为中轴，在预设角度范围内n个视角方向上分别设置图像采集设备；同步调用n个视角方向上的所述图像采集设备，获取n个视角方向下目标人脸的图像对。3.根据权利要求1所述的方法，其特征在于，所述根据所述图像对中的所述彩色图像和所述深度图像，确定与所述深度图像对齐的目标彩色图像，包括：针对所述图像对中所述深度图像的任一深度像素点，将所述深度像素点的像素坐标及景深值转换为世界坐标系下的三维坐标；将所述三维坐标转换为所述深度像素点的目标像素坐标，所述深度像素点的目标像素坐标对应于所述图像对中所述彩色图像的彩色像素点；从所述彩色图像的彩色像素点中，确定与所述深度像素点的目标像素坐标对应的目标彩色像素点；获取所述目标彩色像素点对应的颜色值，将所述颜色值赋予所述深度像素点；利用所述深度图像的各所述深度像素点对应的所述颜色值，重新组成与所述深度图像对齐的目标彩色图像。4.根据权利要求3所述的方法，其特征在于，所述将所述深度像素点的像素坐标及景深值转换为世界坐标系下的三维坐标，包括：将所述深度像素点的像素坐标及景深值输入至第一齐次转换公式，获取所述第一齐次转换公式输出的世界坐标系下的三维坐标；其中，所述第一齐次转换公式包括：2CN113902850A权利要求书2/6页所述Kd包括图像采集设备中深度感光模块的内参矩阵，所述Tw2d包括所述深度感光模块的外参矩阵，由旋转矩阵Rw2d和偏移向量tw2d组成，所述深度像素点的像素坐标包括(所述ud，所述vd)，所述zc包括所述景深值，所述三维坐标包括(所述xw，所述yw，所述zw)。5.根据权利要求3所述的方法，其特征在于，所述将所述三维坐标转换为所述深度像素点的目标像素坐标，包括：将所述三维坐标输入至第二齐次转换公式，获取所述第二齐次转换公式输出的所述深度像素点的目标像素坐标；其中，所述第二齐次转换公式包括：所述Kc包括图像采集设备中彩色感光模块的内参矩阵，所述Tw2c包括所述彩色感光模块的外参矩阵，由旋转矩阵Rw2c和偏移向量tw2c组成，所述三维坐标包括(所述xw，所述yw，所述zw)，所