三维人脸重建方法及装置、电子设备和存储介质.pdf

(19)中华人民共和国国家知识产权局(12)发明专利申请(10)申请公布号CN110706339A(43)申请公布日2020.01.17(21)申请号201910943584.9(22)申请日2019.09.30(71)申请人北京市商汤科技开发有限公司地址100084北京市海淀区中关村东路1号院3号楼7层710-712房间(72)发明人朴镜潭钱晨李鸿升(74)专利代理机构北京林达刘知识产权代理事务所(普通合伙)11277代理人刘新宇(51)Int.Cl.G06T17/00(2006.01)G06K9/46(2006.01)G06N3/04(2006.01)G06N3/08(2006.01)权利要求书2页说明书20页附图11页(54)发明名称三维人脸重建方法及装置、电子设备和存储介质(57)摘要本公开涉及一种三维人脸重建方法及装置、电子设备和存储介质。所述方法包括：通过所述转换网络对第一真实人脸图像进行转换处理，得到第一渲染人脸图像；通过所述转换网络对第二渲染人脸图像进行转换处理，得到第二真实人脸图像；根据所述第一渲染人脸图像和所述第二真实人脸图像，训练所述转换网络。本公开实施例能够提高三维人脸重建的准确性。CN110706339ACN110706339A权利要求书1/2页1.一种神经网络的训练方法，其特征在于，所述神经网络包括转换网络，所述方法包括：通过所述转换网络对第一真实人脸图像进行转换处理，得到第一渲染人脸图像；通过所述转换网络对第二渲染人脸图像进行转换处理，得到第二真实人脸图像；根据所述第一渲染人脸图像和所述第二真实人脸图像，训练所述转换网络。2.根据权利要求1所述的方法，其特征在于，所述通过所述转换网络对第一真实人脸图像进行转换处理，得到第一渲染人脸图像，包括：通过所述转换网络中的第一子转换网络对第一真实人脸图像进行转换处理，得到第一渲染人脸图像；所述通过所述转换网络对第二渲染人脸图像进行转换处理，得到第二真实人脸图像，包括：通过所述转换网络中的第二子转换网络对第二渲染人脸图像进行转换处理，得到第二真实人脸图像。3.根据权利要求1或2所述的方法，其特征在于，所述根据所述第一渲染人脸图像和所述第二真实人脸图像，训练所述转换网络，包括：根据所述第一真实人脸图像中的人脸关键点信息与所述第一渲染人脸图像中的人脸关键点信息之间的距离信息，以及所述第二渲染人脸图像中的人脸关键点信息与所述第二真实人脸图像中的人脸关键点信息之间的距离信息，训练所述转换网络。4.一种采用权利要求1至3中任意一项所述的方法训练得到的神经网络进行三维人脸重建的方法，其特征在于，包括：通过所述转换网络获取待重建真实人脸图像对应的第四渲染人脸图像；通过重建网络对所述第四渲染人脸图像进行形状预测，得到所述待重建真实人脸图像对应的三维人脸重建结果。5.一种神经网络的训练装置，其特征在于，所述神经网络包括转换网络，所述装置包括：第一转换模块，用于通过所述转换网络对第一真实人脸图像进行转换处理，得到第一渲染人脸图像；第二转换模块，用于通过所述转换网络对第二渲染人脸图像进行转换处理，得到第二真实人脸图像；第一训练模块，用于根据所述第一渲染人脸图像和所述第二真实人脸图像，训练所述转换网络。6.根据权利要求5所述的装置，其特征在于，所述第一转换模块用于：通过所述转换网络中的第一子转换网络对第一真实人脸图像进行转换处理，得到第一渲染人脸图像；所述第二转换模块用于：通过所述转换网络中的第二子转换网络对第二渲染人脸图像进行转换处理，得到第二真实人脸图像。7.根据权利要求5或6所述的装置，其特征在于，所述第一训练模块用于：根据所述第一真实人脸图像中的人脸关键点信息与所述第一渲染人脸图像中的人脸关键点信息之间的距离信息，以及所述第二渲染人脸图像中的人脸关键点信息与所述第二真实人脸图像中的人脸关键点信息之间的距离信息，训练所述转换网络。8.一种采用权利要求5至7中任意一项所述的装置训练得到的神经网络进行三维人脸重建的装置，其特征在于，包括：2CN110706339A权利要求书2/2页获取模块，用于通过所述转换网络获取待重建真实人脸图像对应的第四渲染人脸图像；形状预测模块，用于通过重建网络对所述第四渲染人脸图像进行形状预测，得到所述待重建真实人脸图像对应的三维人脸重建结果。9.一种电子设备，其特征在于，包括：一个或多个处理器；用于存储可执行指令的存储器；其中，所述一个或多个处理器被配置为调用所述存储器存储的可执行指令，以执行权利要求1至4中任意一项所述的方法。10.一种计算机可读存储介质，其上存储有计算机程序指令，其特征在于，所述计算机程序指令被处理器执行时实现权利要求1至4中任意一项所述的方法。3CN110706339A说明书1/20页三维人脸重建方法及装置、电子设备和存储介质技术领