基于单张图像的3D人脸模型纹理重建方法及设备.pdf

(19)国家知识产权局(12)发明专利申请(10)申请公布号CN115082640A(43)申请公布日2022.09.20(21)申请号202210918308.9(22)申请日2022.08.01(71)申请人聚好看科技股份有限公司地址266100山东省青岛市崂山区松岭路399号(72)发明人刘元伟(74)专利代理机构北京同达信恒知识产权代理有限公司11291专利代理师刘醒晗(51)Int.Cl.G06T17/20(2006.01)G06T5/50(2006.01)G06V40/16(2022.01)G06V10/26(2022.01)G06V10/82(2022.01)权利要求书3页说明书14页附图9页(54)发明名称基于单张图像的3D人脸模型纹理重建方法及设备(57)摘要本申请涉及人脸三维重建技术领域，提供一种基于单张图像的3D人脸模型纹理重建方法及设备，通过对正面人脸图像进行语义分割，用分割后各肤色区域的颜色均值，校正预置纹理图像的颜色值，从而在保留完整人脸纹理的情况下，提高了纹理的真实性；同时，根据正面人脸图像中2D特征点和目标几何模型中相应3D特征点间的映射关系，确定非刚性变形后的正面人脸图像，并基于2D图像和3D模型间的目标全局投影矩阵，用变形后的正面人脸图像进行纹理映射，得到用于对个性化几何模型进行纹理贴图的目标纹理图像，从而解决局部纹理错位问题，提高纹理重建的精度，且通过对目标纹理图像进行前景背景的融合，解决光栅化造成的边界颜色过渡不均匀的问题。CN115082640ACN115082640A权利要求书1/3页1.一种基于单张图像的3D人脸模型纹理重建方法，其特征在于，包括：获取一张正面人脸图像和预制纹理图像，并提取所述正面人脸图像中的多个2D特征点；根据多个2D特征点的图像坐标，以及预先生成的参数化几何模型中相应的3D特征点的三维坐标，确定目标全局投影矩阵以得到目标几何模型；根据所述正面人脸图像校正所述预制纹理图像的颜色值，得到初始纹理图像；根据多个2D特征点和相应的3D特征点间的映射关系，确定非刚性变形后的正面人脸图像；根据所述目标全局投影矩阵，将变形后的正面人脸图像中像素点的颜色值，赋值给初始纹理图像中像素点，得到用于对所述目标几何模型进行纹理贴图的目标纹理图像。2.如权利要求1所述的方法，其特征在于，所述根据所述正面人脸图像校正所述预制纹理图像的颜色值，得到初始纹理图像，包括：对所述正面人脸图像进行语义分割，并确定各肤色区域内像素点的颜色均值；用所述各肤色区域的颜色均值，校正所述预制纹理图像中各肤色区域的颜色均值，得到初始纹理图像。3.如权利要求1所述的方法，其特征在于，所述根据多个2D特征点和相应的3D特征点间的映射关系，确定非刚性变形后的正面人脸图像，包括：将多个3D特征点投影到一张与所述正面人脸图像同分辨率大小的空白图像上；根据多个2D特征点和所述正面人脸图像的四个角点以及四边中点，将所述正面人脸图像划分为多个三角形，以及，根据多个3D特征点在所述空白图像上的投影点和所述空白图像的四个角点以及四边中点，将所述空白图像划分为多个三角形；计算所述正面人脸图像中每个三角形，与所述空白图像中相应三角形间的局部仿射变化矩阵；根据各局部仿射变化矩阵，将所述正面人脸图像中相应三角形的图像区域填充到所述空白图像的三角形中，得到非刚性变形后的正面人脸图像。4.如权利要求1所述的方法，其特征在于，所述根据所述目标全局投影矩阵，将变形后的正面人脸图像中像素点的颜色值，赋值给初始纹理图像中的像素点，得到用于对所述目标几何模型进行纹理贴图的目标纹理图像，包括：针对所述目标几何模型中人脸区域内的每个三角形面片，执行以下操作后得到用于对所述目标几何模型进行纹理贴图的目标纹理图像：确定所述三角形面片包含的顶点在所述初始纹理图像中对应的纹理点；根据所述目标全局投影矩阵，确定所述三角形面片包含的顶点在变形后的正面人脸图像中的二维投影点；计算三个纹理点组成的第一三角形区域中每个像素点，在所述第一三角形区域内的重心坐标，并确定所述重心坐标在三个二维投影点组成的第二三角形区域内对应的像素点，将所述第二三角形区域内像素点的颜色值，赋值给所述第一三角形区域内相应的像素点。5.如权利要求4所述的方法，其特征在于，当所述重心坐标在三个二维投影点组成的第二三角形区域内没有对应的像素点时；获取所述重心坐标在所述第二三角形区域内相应位置点周围的各像素点；2CN115082640A权利要求书2/3页对相应位置点周围的各像素点的颜色值进行双线性插值，得到目标颜色值；将所述目标颜色值赋值给所述重心坐标在所述第一三角形区域内对应的像素点。6.如权利要求1所述的方法，其特征在于，得到所述目标纹理图像之后，所述方法还包括：将所述目标纹理图像中，被所述正面人脸图像