一种基于生成式对抗网络的人脸表情生成方法.pdf

(19)中华人民共和国国家知识产权局(12)发明专利申请(10)申请公布号CN112990078A(43)申请公布日2021.06.18(21)申请号202110361039.6(22)申请日2021.04.02(71)申请人深圳先进技术研究院地址518055广东省深圳市南山区西丽大学城学苑大道1068号(72)发明人王蕊施璠曲强姜青山(74)专利代理机构北京市诚辉律师事务所11430代理人耿慧敏朱伟军(51)Int.Cl.G06K9/00(2006.01)G06N3/04(2006.01)G06N3/08(2006.01)权利要求书2页说明书8页附图3页(54)发明名称一种基于生成式对抗网络的人脸表情生成方法(57)摘要本发明公开了一种基于生成式对抗网络的人脸表情生成方法。该方法包括：构建深度学习网络模型，其包括循环神经网络、生成器、图像判别器、第一视频判别器和第二视频判别器，其中循环神经网络针对输入图像产生时间相关的运动向量，生成器以运动向量和输入图像作为输入，输出相应的视频帧，图像判别器用于判断各视频帧的真伪，第一视频判别器判断视频的真伪并进行分类，第二视频判别器控制生成视频变化的真实性和平滑性；利用包含不同表情类别的样本图像作为输入，训练所述深度学习网络模型；利用经训练的生成器实时生成人脸视频。本发明在生成表情的同时保留人脸特征、所生成视频保持了连续性和真实性、对不同的人脸有泛化能力。CN112990078ACN112990078A权利要求书1/2页1.一种基于生成式对抗网络的人脸表情生成方法，包括以下步骤：构建深度学习网络模型，该深度学习网络模型包括循环神经网络、生成器、图像判别器、第一视频判别器和第二视频判别器，其中循环神经网络针对输入图像产生时间相关的运动向量；生成器用于将循环神经网络产生的运动向量和输入图像作为输入，输出相应的视频帧；图像判别器用于判断各视频帧的真伪；第一视频判别器用于判断视频真伪并对视频进行分类；第二视频判别器辅助第一视频判别器用于控制生成视频变化的真实性和平滑性；利用包含不同表情类别的样本图像作为输入，以设定的目标函数为优化目标训练所述深度学习网络模型；利用经训练的生成器实时生成人脸视频。2.根据权利要求1所述的方法，其中，所述生成器基于U‑net结构构建，包括用于下采样的多层卷积层，以及与所述多层卷积层对应的多层反卷积用于实现上采样。3.根据权利要求1所述的方法，其中，所述目标函数设置为：其中D包括图像判别器、第一视频判别器和第二视频判别器，G包括生成器和循环神经网络，λ1、λ2、λ3、λ4是超参数，limg_adv是图像判别器的损失函数，lvid_adv是第一视频判别器的对抗损失函数，lpatch_adv是第二视频判别器的对抗损失函数，lcat是生成器的分类损失函数，lrec是生成器的重构损失函数。4.根据权利要求3所述的方法，其中，所述图像判别器的损失函数表示为：其中Pvideo(v)是真实视频的分布，v[0]表示视频v的第一帧，v[t]表示视频的第(t+1)帧，Pz(z)是随机噪声，c是目标类别，G表示生成器，Dimg表示图像判别器，Pdata(x)、Pz(z)和Pc(c)分别表示x、z和c的分布。5.根据权利要求3所述的方法，其中，所述第一视频判别器DV的对抗损失函数表示为：其中，c是目标类别，Pz(z)是随机噪声，x为输入的人脸图像，v表示视频帧，Pvideo(v)表示视频的分布，Pdata(x)、Pz(z)和Pc(c)分别表示x、z和c的分布。6.根据权利要求3所述的方法，其中，所述第二视频判别器Dpatch的对抗损失函数表示为：其中，c是目标类别，Pz(z)是随机噪声，z为随机噪声，x为输入的人脸图像，Pvideo(v)表示视频的分布，Pdata(x)、Pz(z)和Pc(c)分别表示x、z和c的分布。2CN112990078A权利要求书2/2页7.根据权利要求3所述的方法，其中，所述生成器的分类损失函数表示为：其中，Q是分类网络，Pz(z)为随机噪声，c为目标类别，G为生成器，z为随机噪声，x为输入的人脸图像，Pdata(x)、P(z)和Pc(c)分别表示x、z和c的分布。8.根据权利要求3所述的方法，其中，所述生成器的重构损失函数表示为：其中表示生成视频的第一帧，x为输入的人脸图像，表示生成的视频，表示的分布，Px(x)表示x的分布。9.一种计算机可读存储介质，其上存储有计算机程序，其中，该程序被处理器执行时实现根据权利要求1至8中任一项所述方法的步骤。10.一种计算机设备，包括存储器和处理器，在所述存储器上存储有能够在处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现权利要求1至8中任一项所述的方法的步骤。3CN112990078A说明书1/8页一种基于生