人脸几何模型提取、3D人脸重建方法、设备及存储介质.pdf

(19)中华人民共和国国家知识产权局(12)发明专利申请(10)申请公布号CN113112596A(43)申请公布日2021.07.13(21)申请号202110520122.3(22)申请日2021.05.12(71)申请人北京深尚科技有限公司地址100000北京市海淀区海淀北二街8号5层601(72)发明人陈达勤王淳浣军宋博宁娄明李曈(74)专利代理机构成都顶峰专利事务所(普通合伙)51224代理人李崧岩(51)Int.Cl.G06T17/00(2006.01)G06K9/00(2006.01)G06K9/34(2006.01)权利要求书2页说明书9页附图2页(54)发明名称人脸几何模型提取、3D人脸重建方法、设备及存储介质(57)摘要本发明公开了一种人脸几何模型提取、3D人脸重建方法、设备及存储介质，该方法包括以下步骤：获取至少一个人脸图像的初始人脸几何模型并将所述至少一个人脸图像转换为第一剪影图像；获取所述人脸几何模型的投影图像，并将所述投影图像转化为第二剪影图像；调整人脸几何模型的相关参数及人脸几何模型相应优化区域的顶点坐标，使第二剪影图像和第一剪影图像的差异小于一阈值，获取此时第二剪影图像对应的人脸几何模型作为最终的人脸几何模型。该方法通过对人脸几何模型的相关参数的优化，提高人脸形态估计准确度，提高3D人脸模型的构建真实度，减小渲染出的图像和实际图像感官差异。CN113112596ACN113112596A权利要求书1/2页1.一种人脸几何模型提取方法，其特征在于，包括以下步骤：获取至少一个人脸图像的初始人脸几何模型并将所述至少一个人脸图像转换为第一剪影图像；获取所述人脸几何模型的投影图像，并将所述投影图像转化为第二剪影图像；调整人脸几何模型的相关参数及人脸几何模型相应优化区域的顶点坐标，使第二剪影图像和第一剪影图像的差异小于一阈值，获取此时第二剪影图像对应的人脸几何模型作为最终的人脸几何模型，所述人脸几何模型的相关参数包括与人脸形状相关的参数α、与人脸表情相关的参数β、尺度参数s、旋转参数R、平移参数t。2.根据权利要求1所述的一种人脸几何模型提取方法，其特征在于，所述方法还包括：对人脸图像进行语义分割得到至少一个语义分割区域，所述语义分割区域包括眼睛区域、眉毛区域、鼻子区域、嘴巴区域；在人脸几何模型中确定分别与所述至少一个语义分割区域中每个语义分割区域相对应的顶点坐标；所述调整人脸几何模型的相关参数及人脸几何模型相应区域的顶点坐标包括：在保持其它语义分割区域相对应的顶点坐标不变的情况下，调整人脸几何模型的相关参数及一语义分割区域相对应的顶点坐标，使第一剪影图像和第二剪影图像的差异小于一阈值。3.根据权利要求2所述的一种人脸几何模型提取方法，其特征在于：所述调整人脸几何模型的相关参数及人脸几何模型相应区域的顶点坐标包括：对分割出的每个语义分割区域依次进行以下迭代操作：在保持其它语义分割区域相对应的顶点坐标不变的情况下，调整人脸几何模型的相关参数及一语义分割区域相对应的顶点坐标，使第一剪影图像和第二剪影图像的差异小于一阈值。4.根据权利要求2或3所述的一种人脸几何模型提取方法，其特征在于：所述调整人脸几何模型的相关参数及人脸几何模型相应区域的顶点坐标还包括：调整人脸几何模型的相关参数及与所有语义分割区域对应的人脸几何模型顶点坐标，使第二剪影图像和第一剪影图像的差异小于一阈值。5.根据权利要求2所述的一种人脸几何模型提取方法，其特征在于：所述调整人脸几何模型的相关参数及人脸几何模型相应优化区域的顶点坐标，使第二剪影图像和第一剪影图像的差异小于一阈值包括：将语义分割区域中未被遮挡的区域进行掩码处理得到未被遮挡区域的掩码图像；根据人脸几何模型相应优化区域的顶点坐标、第一剪影图像、第二剪影图像、未被遮挡区域的掩码图像构建一损失函数；求取损失函数对人脸几何模型的相关参数的导数；利用梯度下降算法，根据梯度调整人脸几何模型的相关参数至损失函数最小。6.根据权利要求1所述的一种人脸几何模型提取方法，其特征在于：所述获取至少一个人脸图像的初始人脸几何模型包括：提取人脸图像的2D关键点；根据关键点将图像的人脸对齐到一标准的参考坐标系下，得到归一化的人脸图像；将所述归一化的人脸图像输入至已训练完成的参数回归模型中得到与人脸图像相对2CN113112596A权利要求书2/2页应的3D人脸模型系数和人脸模型相对相机坐标系的外参数；根据3D人脸模型系数和人脸模型相对相机坐标系的外参数得到初始人脸几何模型。7.根据权利要求6所述的一种人脸几何模型提取方法，其特征在于，所述方法还包括：对初始几何模型进行顶点插值和/或网格平滑处理。8.一种3D人脸重建方法，其特征在于，包括以下步骤：采用上述权利要求1‑7任一种人脸几何模型提取方法得到人脸几何模型；