人脸纹理特征提取、3D人脸重建方法及设备及存储介质.pdf

(19)中华人民共和国国家知识产权局(12)发明专利申请(10)申请公布号CN113111861A(43)申请公布日2021.07.13(21)申请号202110519887.5(22)申请日2021.05.12(71)申请人北京深尚科技有限公司地址100000北京市海淀区海淀北二街8号5层601(72)发明人陈达勤王淳浣军宋博宁娄明李曈(74)专利代理机构成都顶峰专利事务所(普通合伙)51224代理人李崧岩(51)Int.Cl.G06K9/00(2006.01)G06K9/34(2006.01)G06T17/00(2006.01)权利要求书2页说明书11页附图3页(54)发明名称人脸纹理特征提取、3D人脸重建方法及设备及存储介质(57)摘要本发明公开了人脸纹理特征提取、3D人脸重建方法及设备及存储介质，该方法包括以下步骤：提取人脸图像的2D人脸关键点；根据人脸几何模型得到初始纹理图；将人脸关键点映射到初始纹理图中得到关键点的初始位置；预测每个关键点的运动场得到每个关键点在初始纹理图中的预测位置；根据关键点的初始位置和预测位置构建变换，对初始纹理图进行扭曲得到最终的纹理图。本方案通过将人脸关键点映射到初始纹理图中得到初始位置，并对每个关键点在初始纹理图中的位置进行预测，通过初始位置和预测位置对初始纹理图进行扭曲得到最终的纹理图，使得得到的纹理图更真实，减小3D人脸构建过程中渲染出的图像和实际图像感官差异，提高3D人脸模型的构建真实度。CN113111861ACN113111861A权利要求书1/2页1.一种人脸纹理特征提取方法，其特征在于，包括以下步骤：提取人脸图像的2D人脸关键点；根据人脸几何模型得到初始纹理图；将人脸关键点映射到初始纹理图中得到关键点的初始位置；预测每个关键点的运动场得到每个关键点在初始纹理图中的预测位置；根据关键点的初始位置和预测位置构建变换，对初始纹理图进行扭曲得到最终的纹理图。2.根据权利要求1所述的一种人脸纹理特征提取方法，其特征在于，所述根据人脸几何模型得到初始纹理图包括：对人脸几何模型进行投影，确定人脸几何模型未被遮挡的顶点在人脸图像中的对应位置；提取所述人脸几何模型未被遮挡的顶点在人脸图像中的对应位置的颜色信息；将提取的颜色信息根据据人脸几何模型和纹理图之间的采样关系展开得到初始纹理图。3.根据权利要求1所述的一种人脸纹理特征提取方法，其特征在于，采用神经网络模型预测每个关键点的运动场得到每个关键点的预测位置。4.一种3D人脸重建方法，其特征在于，包括以下步骤：根据人脸图像获取人脸几何模型；采用权利要求1‑3所述的人脸纹理特征提取方法基于人脸几何模型从人脸图像中提取人脸纹理图；将人脸几何模型转化为2D方式的信息，所述2D方式的信息为深度图或法向量图；将所述2D方式的信息和人脸纹理图输入至训练完后的神经网络模型中得到3D人脸的渲染图像。5.根据权利要求4所述的一种3D人脸重建方法，其特征在于，所述获取人脸几何模型包括：获取至少一个人脸图像的初始人脸几何模型并将所述至少一个人脸图像转换为第一剪影图像；获取所述人脸几何模型的投影图像，并将所述投影图像转化为第二剪影图像；调整人脸几何模型的相关参数及人脸几何模型相应优化区域的顶点坐标，使第二剪影图像和第一剪影图像的差异小于一阈值，获取此时第二剪影图像对应的人脸几何模型作为最终的人脸几何模型，所述人脸几何模型的相关参数包括与人脸形状相关的参数α、与人脸表情相关的参数β、尺度参数s、旋转参数R、平移参数t。6.根据权利要求5所述的一种3D人脸重建方法，其特征在于，所述方法还包括：对人脸图像进行语义分割得到至少一个语义分割区域，所述语义分割区域包括眼睛区域、眉毛区域、鼻子区域、嘴巴区域；在人脸几何模型中确定分别与所述至少一个语义分割区域中每个语义分割区域相对应的顶点坐标；所述调整人脸几何模型的相关参数及人脸几何模型相应区域的顶点坐标包括：在保持其它语义分割区域相对应的顶点坐标不变的情况下，调整人脸几何模型的相关2CN113111861A权利要求书2/2页参数及一语义分割区域相对应的顶点坐标，使第一剪影图像和第二剪影图像的差异小于一阈值。7.根据权利要求5所述的一种3D人脸重建方法，其特征在于，所述调整人脸几何模型的相关参数及人脸几何模型相应优化区域的顶点坐标，使第一剪影图像和第二剪影图像的差异小于一阈值包括：将语义分割区域中未被遮挡的区域进行掩码处理得到未被遮挡区域的掩码图像；根据人脸几何模型相应优化区域的顶点坐标、第一剪影图像、第二剪影图像、未被遮挡区域的掩码图像构建一损失函数；求取损失函数对人脸几何模型的相关参数的导数；利用梯度下降算法，根据梯度调整人脸几何模型的相关参数至损失函数最小。8.一种人脸3D人脸重建设备，其特征在于，包括：一图像预处理单元，所