表情驱动方法、装置、电子设备及存储介质.pdf

(19)中华人民共和国国家知识产权局(12)发明专利申请(10)申请公布号CN113870399A(43)申请公布日2021.12.31(21)申请号202111117185.0(22)申请日2021.09.23(71)申请人北京百度网讯科技有限公司地址100085北京市海淀区上地十街10号百度大厦2层(72)发明人梁柏荣郭知智洪智滨(74)专利代理机构北京清亦华知识产权代理事务所(普通合伙)11201代理人罗岚(51)Int.Cl.G06T13/40(2011.01)权利要求书3页说明书11页附图6页(54)发明名称表情驱动方法、装置、电子设备及存储介质(57)摘要本公开提供了表情驱动方法、装置、电子设备及存储介质，涉及人工智能技术领域，具体涉及计算机视觉和深度学习技术领域，可应用于人脸图像处理和人脸识别等场景。具体实现方案为：将具有表情的源图像及无表情的目标图像分别输入至三维表情表达模型中，以获取多个第一面部属性以及多个第二面部属性，采用第一面部属性中的至少部分面部属性替换第二面部属性中对应的面部属性，并对替换后的第二面部属性进行三维面部重建和渲染，通过表情驱动模型对将渲染的三维面部图像进行表情驱动。由此，可实现源图像和目标图像中的面部表情和面部姿态的解耦，进而，可实现单独控制目标图像的面部表情和面部姿态，更好地满足更多样的表情驱动。CN113870399ACN113870399A权利要求书1/3页1.一种表情驱动方法，包括：获取具有表情的源图像及无表情的目标图像；将所述源图像和所述目标图像分别输入至三维表情表达模型中，以获取所述源图像对应的多个第一面部属性以及所述目标图像对应的多个第二面部属性；采用所述多个第一面部属性中的至少部分面部属性替换所述多个第二面部属性中对应的面部属性，以得到替换处理后的多个第二面部属性；根据所述替换处理后的多个第二面部属性，对所述目标图像中的面部进行三维面部重建和渲染，以得到渲染后的三维面部图像；将所述渲染后的三维面部图像输入至表情驱动模型中，以对所述目标图像中的面部进行表情驱动。2.根据权利要求1所述的方法，其中，所述采用所述多个第一面部属性中的至少部分面部属性替换所述多个第二面部属性中对应的面部属性，以得到替换处理后的多个第二面部属性，包括：根据所述多个第一面部属性中的面部表情，对所述第二面部属性中的面部表情进行替换处理；将所述第二面部属性中替换处理后的面部表情，以及所述第二面部属性中替换处理所保留的面部姿态、面部形状以及面部光照，作为所述替换处理后的多个第二面部属性。3.根据权利要求1所述的方法，其中，所述根据所述替换处理后的多个第二面部属性，对所述目标图像中的面部进行三维面部重建和渲染，以得到渲染后的三维面部图像，包括：根据所述替换处理后的多个第二面部属性系数，对所述目标图像中的面部进行三维面部重建，以得到重建后的三维面部图像；对重建后的三维面部图像进行三维面部渲染，以得到渲染后的三维面部图像。4.根据权利要求3所述的方法，其中，所述三维表情表达模型包括编码层和解码层；其中，所述编码层，用于将所述源图像和所述目标图像分别输入至三维表情表达模型中，以获取所述源图像对应的多个第一面部属性以及所述目标图像对应的多个第二面部属性；所述解码层，用于根据所述替换处理后的多个第二面部属性，对所述目标图像中的面部进行三维面部重建，以得到重建后的三维面部图像。5.根据权利要求1所述的方法，其中，所述将所述渲染后的三维面部图像输入至表情驱动模型中之前，还包括：获取多帧具有表情的样本图像；针对每帧所述样本图像，将所述样本图像输入至所述三维表情表达模型的编码层中，以获取所述样本图像对应的样本面部属性；其中，所述样本面部属性包括：样本面部表情、样本面部形状、样本面部姿态和样本面部光照中的至少一种；将所述样本面部表情、样本面部形状、样本面部姿态和样本面部光照输入至所述三维表情表达模型的解码层中，以对所述样本图像中的面部进行三维面部重建，得到重建后的三维样本面部图像；对所述重建后的三维样本面部图像进行三维面部渲染，以得到渲染后的三维样本面部图像；2CN113870399A权利要求书2/3页根据所述渲染后的三维样本面部图像和所述样本图像，对初始的表情驱动模型进行训练，以生成所述表情驱动模型。6.根据权利要求5所述的方法，其中，所述根据所述渲染后的三维样本面部图像和所述样本图像对初始的表情驱动模型进行训练，以生成所述表情驱动模型，包括：将所述渲染后的三维样本面部图像输入至初始的表情驱动模型中，以获取表情预测图像；根据所述样本图像与所述表情预测图像之间的差异性，确定损失函数值；根据所述损失函数值，对所述初始的表情驱动模型进行训练，以使所述损失函数值最小化。7.根据权利要求5所述的方法，其中，所述根据所述渲染后的三维样本面