三维人脸模型的非刚性配准方法、装置、设备及存储介质.pdf

(19)中华人民共和国国家知识产权局(12)发明专利申请(10)申请公布号CN113658233A(43)申请公布日2021.11.16(21)申请号202110750314.3(22)申请日2021.07.02(71)申请人广州虎牙科技有限公司地址511400广东省广州市番禺区钟村街(汉溪商业中心)泽溪街13号1301(72)发明人罗镜民(74)专利代理机构深圳市威世博知识产权代理事务所(普通合伙)44280代理人黎坚怡(51)Int.Cl.G06T7/33(2017.01)G06T19/20(2011.01)G06K9/62(2006.01)权利要求书2页说明书8页附图6页(54)发明名称三维人脸模型的非刚性配准方法、装置、设备及存储介质(57)摘要本申请公开了一种三维人脸模型的非刚性配准方法，该方法包括：获取到目标三维人脸模型以及目标三维人脸模型的多个第一关键点，将目标三维人脸模型与预设的标准三维人脸模型对齐；获取标准三维人脸模型预设的多个第二关键点在目标三维人脸模型中对应的最近邻点，最近邻点为第一关键点；建立最近邻点与第二关键点之间的对应关系；基于对应关系调整标准三维人脸模型的第二关键点，以得到调整后的标准三维人脸模型。通过此种方式，基于目标三维模型中最近邻点与标准三维模型的第二关键点之间关系，实现对标准三维人脸模型进行调整，调整后的标准三维人脸模型相对于目标三维人脸模型能够保持良好的形状信息。CN113658233ACN113658233A权利要求书1/2页1.一种三维人脸模型的非刚性配准方法，其特征在于，所述方法包括：获取到目标三维人脸模型以及所述目标三维人脸模型的多个第一关键点，将所述目标三维人脸模型与预设的标准三维人脸模型对齐；获取所述标准三维人脸模型预设的多个第二关键点在所述目标三维人脸模型中对应的最近邻点，所述最近邻点为所述第一关键点；建立所述最近邻点与所述第二关键点之间的对应关系；基于所述对应关系调整所述标准三维人脸模型的第二关键点，以得到调整后的所述标准三维人脸模型。2.根据权利要求1所述的方法，其特征在于，所述获取所述目标三维人脸模型的多个第一关键点的步骤，包括：对所述目标三维人脸模型进行可导渲染处理，以获取渲染图像及渲染数据；基于所述渲染图像进行人脸关键点检测，得到人脸关键点；基于所述渲染数据得到所述人脸关键点在所述目标三维人脸模型中对应的第一关键点。3.根据权利要求2所述的方法，其特征在于，所述基于所述渲染图像进行人脸关键点检测，得到人脸关键点的步骤，包括：对所述渲染图像进行人脸识别，获取所述渲染图像中人脸的位置信息；基于所述人脸的位置信息在所述渲染图像中获取人脸图像；基于所述人脸图像进行人脸关键点检测。4.根据权利要求2所述的方法，其特征在于，所述对所述目标三维人脸模型进行可导渲染处理，以获取渲染图像及渲染数据的步骤之后，还包括：对所述渲染图像中的人脸图像进行人脸分割，得到不同的第一人脸分割区域；其中，所述不同的第一人脸分割区域互不重叠，一个所述人脸关键点位于一个所述第一人脸分割区域内。5.根据权利要求4所述的方法，其特征在于，所述获取所述标准三维人脸模型的预设的多个第二关键点在所述目标三维人脸模型中对应的最近邻点的步骤，包括：获取与所述标准三维人脸模型的预设的第二关键点所属的预设的第二人脸分割区域；在所述目标三维人脸模型中与所述第二人脸分割区域对应的第一人脸分割区域内获取最近邻点。6.根据权利要求1所述的方法，其特征在于，所述基于所述对应关系调整所述标准三维人脸模型的第二关键点以得到调整后的标准三维人脸模型的步骤之后，还包括：通过损失函数计算损失函数值；判断所述损失函数的损失值是否大于预设阈值；若是，则继续执行获取所述标准三维人脸模型预设的多个第二关键点在所述目标三维人脸模型中对应的最近邻点的步骤；若否，则将所述调整后的标准三维人脸模型作为最终模型输出。2CN113658233A权利要求书2/2页7.根据权利要求6所述的方法，其特征在于，所述损失函数的公式包括：Loss＝A*Distance+B*Laplace+C*Edge；其中,A、B、C为预先设置的比例常数，Distance为第二关键点与最近邻点之间的三维距离的平方，Laplace为拉普拉斯平滑项，Edge为调整后的标准三维模型的所有边的平均长度。8.根据权利要求1所述的方法，其特征在于，所述获取所述标准三维人脸模型预设的多个第二关键点在所述目标三维人脸模型中对应的最近邻点的步骤，包括：通过邻近算法获取所述标准三维人脸模型预设的多个第二关键点在所述目标三维人脸模型中对应的最近邻点。9.一种三维人脸模型的非刚性配准装置，其特征在于，所述装置包括：获取模块，用于获取到目标三维人脸模型以及所述目标三维人脸模型的多个第一关键点；对齐模块，与所述获