人脸表情迁移方法、装置、电子设备及存储介质.pdf

(19)中华人民共和国国家知识产权局(12)发明专利申请(10)申请公布号CN113762147A(43)申请公布日2021.12.07(21)申请号202111040112.6(22)申请日2021.09.06(71)申请人网易(杭州)网络有限公司地址310052浙江省杭州市滨江区长河街道网商路599号4幢7层(72)发明人姚光明袁燚胡志鹏(74)专利代理机构北京超凡宏宇专利代理事务所(特殊普通合伙)11463代理人何少岩(51)Int.Cl.G06K9/00(2006.01)G06N3/04(2006.01)G06N3/08(2006.01)G06T3/00(2006.01)权利要求书3页说明书16页附图10页(54)发明名称人脸表情迁移方法、装置、电子设备及存储介质(57)摘要本申请提供一种人脸表情迁移方法、装置、电子设备及存储介质，涉及机器学习技术领域。该方法包括：获取源人脸图像以及驱动人脸图像；对源人脸图像和驱动人脸图像分别进行三维重建，得到源人脸图像和驱动人脸图像分别对应的人脸网格参数，人脸网格参数包括身份参数、表情参数和姿态参数；根据源人脸图像对应的人脸网格参数，获得源人脸网格；以及根据源人脸图像对应的身份参数、驱动人脸图像对应的表情参数和姿态参数，获得驱动人脸网格；采用预先训练的人脸表情迁移模型，生成源人脸图像对应的优化后的源人脸纹理贴图；根据优化后的源人脸纹理贴图以及驱动人脸网格，生成目标人脸图像。本方法可实现较优的人脸表情迁移效果。CN113762147ACN113762147A权利要求书1/3页1.一种人脸表情迁移方法，其特征在于，包括：获取源人脸图像以及驱动人脸图像，所述源人脸图像为具有初始表情的第一目标对象的人脸图像，所述驱动人脸图像为具有目标表情的第二目标对象的人脸图像；对所述源人脸图像和所述驱动人脸图像分别进行三维重建，得到所述源人脸图像和所述驱动人脸图像分别对应的人脸网格参数，所述人脸网格参数包括身份参数、表情参数和姿态参数；根据所述源人脸图像对应的人脸网格参数，获得源人脸网格；以及根据所述源人脸图像对应的身份参数、所述驱动人脸图像对应的表情参数和姿态参数，获得驱动人脸网格；采用预先训练的人脸表情迁移模型，生成所述源人脸图像对应的优化后的源人脸纹理贴图；根据所述优化后的源人脸纹理贴图以及所述驱动人脸网格，生成目标人脸图像，所述目标人脸图像为具有所述目标表情的所述第一目标对象的人脸图像。2.根据权利要求1所述的方法，其特征在于，所述人脸表情迁移模型包括纹理优化模块；所述采用预先训练的人脸表情迁移模型，生成所述源人脸图像对应的优化后的源人脸纹理贴图，包括：由所述纹理优化模块根据所述源人脸网格对所述源人脸图像进行反扭曲处理，生成初始的源人脸纹理贴图；采用所述纹理优化模块，对所述初始的源人脸纹理贴图进行优化，得到所述优化后的源人脸纹理贴图。3.根据权利要求2所述的方法，其特征在于，所述纹理优化模块由编码器、解码器及掩膜网络构成；所述采用所述纹理优化模块，对所述初始的源人脸纹理贴图进行优化，得到所述优化后的源人脸纹理贴图，包括：使用所述编码器对所述初始的源人脸纹理贴图进行编码，得到源人脸特征图；将所述源人脸特征图输入所述解码器和所述掩膜网络中，得到所述解码器输出的处理后的纹理贴图以及所述掩膜网络输出的纹理掩膜图像；根据所述纹理掩膜图像和所述处理后的纹理贴图，生成所述优化后的源人脸纹理贴图。4.根据权利要求1所述的方法，其特征在于，所述人脸表情迁移模型还包括运动估计模块；所述根据所述优化后的源人脸纹理贴图以及所述驱动人脸网格，生成目标人脸图像，包括：采用所述运动估计模块，对所述源人脸网格以及所述驱动人脸网格进行运动光流估算处理，生成从所述源人脸图像到所述驱动人脸图像的运动光流图像；根据所述优化后的源人脸纹理贴图、所述运动光流图像以及所述驱动人脸网格，生成目标人脸图像。5.根据权利要求4所述的方法，其特征在于，所述人脸表情迁移模型还包括人脸驱动模块，所述人脸驱动模块由可微渲染器、编码器、解码器以及遮挡网络构成；所述根据所述优化后的源人脸纹理贴图、所述运动光流图像以及所述驱动人脸网格，生成目标人脸图像，包括：将所述优化后的源人脸纹理贴图以及所述驱动人脸网格输入所述可微渲染器，得到所2CN113762147A权利要求书2/3页述可微渲染器输出的可微渲染后的人脸图像；将所述源人脸图像以及所述运动光流图像输入所述遮挡网络，得到所述遮挡网络输出的掩膜图像；对所述源人脸图像进行扭曲变形处理，生成第一形变图像；根据所述可微渲染后的人脸图像、所述掩膜图像、以及所述第一形变图像，生成所述目标人脸图像。6.根据权利要求5所述的方法，其特征在于，所述将所述源人脸图像以及所述运动光流图像输入所述遮挡网络，得到所述遮挡网络输出的掩膜图