基于生成对抗网络与FACS的面部表情合成研究.docx

基于生成对抗网络与FACS的面部表情合成研究
摘要：
本文将生成对抗网络（GAN）与面部行为编码系统（FACS）结合，提出一种新的面部表情合成方法。该方法使用GAN生成器学习从输入图像生成合成表情的映射函数，同时使用FACS对面部表情进行编码，以产生真实的表情，从而生成更加自然和逼真的合成表情。我们在FER2013和CK+数据集上进行了实验，结果表明该方法产生的合成表情与真实表情之间的相似度较高，并比其他方法具有更好的合成效果。
关键词：生成对抗网络，面部行为编码系统，面部表情合成
Abstract：
Inthispaper,weproposeanewfacialexpressionsynthesismethodbycombiningGenerativeAdversarialNetworks(GANs)andFacialActionCodingSystem(FACS).ThemethodusesaGANgeneratortolearnthemappingfunctionfromtheinputimagetothegeneratedexpression,andusesFACStoencodefacialexpressionstoproducemorerealisticandnaturalsyntheticexpressions.WeconductedexperimentsontheFER2013andCK+datasets,andtheresultsshowedthatthismethodproducedsyntheticexpressionsthatwerehighlysimilartotherealexpressionsandhadbettersynthesisperformancethanothermethods.
Keywords:GenerativeAdversarialNetworks,FacialActionCodingSystem,FacialExpressionSynthesis
1.引言
面部表情合成是计算机视觉领域中的一个重要问题，它可以在医学、娱乐等领域得到广泛应用。然而，由于面部表情是非常复杂的，要生成逼真的表情图像是非常困难的。因此，如何开发一种有效的面部表情合成方法成为了一个重要的研究领域。
生成对抗网络是一种机器学习方法，近年来在图像生成领域取得了很大进展，它可以生成高度逼真的图像，并且具有良好的图像合成性能。然而，对于面部表情合成这样的任务，GAN仍然存在一些挑战。
一方面，人类面部表情具有非常复杂的结构，在不同的情感状态下表情的变化也非常多样化。因此，要通过GAN生成器学习从输入图像到输出表情之间的映射函数非常困难。另一方面，由于GAN生成的图像不是基于现实真实的面部表情，因此其合成表情可能会显得生硬和不自然。
面部行为编码系统（FACS）是一个基于面部运动解析的面部表情解码系统，它可以将面部表情映射为对应的运动。用FACS对面部表情进行编码可以产生真实的表情，从而生成更加自然和逼真的合成表情。
因此，我们提出了一种新的面部表情合成方法，该方法将GAN和FACS结合起来，成功地解决了上述问题。具体而言，我们使用GAN生成器学习映射函数，并使用FACS对面部表情进行编码，从而生成更加自然和逼真的合成表情。
2.相关工作
已有一些基于GAN的面部表情合成研究，如采用CGAN、LAPGAN、DCGAN等网络进行合成等。然而，这些方法仍然存在一些问题，如生成表情不够自然，面部细节不够清晰等。
其它一些研究采用各种模型结合较少的数据量进行面部表情合成。例如，Kazemi和Sullivan在他们的研究中提出了一个基于高级度量的SURF点检测的面部表情合成算法。Hasanietal.提出了一种基于局部不变特征和多层感知器的面部表情合成算法。Yildirimetal.使用随机投影和高斯过程回归等技术对面部表情进行建模，然后使用隐变量算法生成面部表情图像。
3.方法
3.1GAN生成器
GAN生成器是用于学习从输入图像生成输出表情的映射函数的神经网络。给定输入图像x，该网络会输出一个与之相对应的表情图像y。我们使用对抗训练算法来训练生成器网络，该算法通过使用一个2层的卷积神经网络作为鉴别器，将生成器生成的表情图像与真实表情图像进行比较。
设生成器的输入为z，输出为y=G(z)，目标是使所生成的表情图像与真实表情图像尽量接近。为此，我们最小化二者之间的差异，具体而言，我们使用均方误差（MSE）作为损失函数进行训练。
3.2面部行为编码系统
面部行为编码系统（FACS）是一种可以将面部表情映射到与之相对应的动作单元的编码系统。该系统可分为两个部分：面部动作编码器和面部运动解码器。面部动作编码器的目的是将面部表情转化