表情生成方法、装置和表情生成模型的训练方法、装置.pdf

(19)国家知识产权局(12)发明专利申请(10)申请公布号CN115035219A(43)申请公布日2022.09.09(21)申请号202210540239.2G06V10/82(2022.01)(22)申请日2022.05.18G06V40/16(2022.01)G06K9/62(2022.01)(71)申请人京东科技控股股份有限公司地址100176北京市大兴区北京经济技术开发区科创十一街18号C座2层221室(72)发明人石凡刘颖璐左佳伟王林芳张炜梅涛(74)专利代理机构中国贸促会专利商标事务所有限公司11038专利代理师孙玉许蓓(51)Int.Cl.G06T13/40(2011.01)G06V10/80(2022.01)G06V10/40(2022.01)G06V10/77(2022.01)权利要求书5页说明书14页附图5页(54)发明名称表情生成方法、装置和表情生成模型的训练方法、装置(57)摘要本公开涉及一种表情生成方法、装置和表情生成模型的训练方法、装置，涉及计算机技术领域。本公开的方法包括：获取原视频中每帧图像的特征信息、人脸关键点的特征信息和原表情的分类信息；将每帧图像的特征信息、人脸关键点的特征信息、原表情的分类信息与目标表情对应的预设分类信息进行融合，得到每帧图像对应的融合图像的特征信息；根据每帧图像对应的融合图像的特征信息，生成每帧图像对应的融合图像，得到所有图像对应的融合图像形成的人脸表情是目标表情的目标视频。CN115035219ACN115035219A权利要求书1/5页1.一种表情生成方法，包括：获取原视频中每帧图像的特征信息、人脸关键点的特征信息和原表情的分类信息；将每帧图像的特征信息、人脸关键点的特征信息、原表情的分类信息与目标表情对应的预设分类信息进行融合，得到所述每帧图像对应的融合图像的特征信息；根据所述每帧图像对应的融合图像的特征信息，生成所述每帧图像对应的融合图像，得到所有图像对应的融合图像形成的人脸表情是目标表情的目标视频。2.根据权利要求1所述的表情生成方法，其中，所述获取原视频中每帧图像的特征信息、人脸关键点的特征信息包括：将所述原视频中每帧图像输入人脸特征提取模型，得到输出的所述每帧图像的特征信息；将所述每帧图像的特征信息输入人脸关键点检测模型，得到所述每帧图像的人脸关键点的坐标信息；采用主成分分析法对所有人脸关键点的坐标信息进行降维，得到预设维度的信息，作为所述人脸关键点的特征信息。3.根据权利要求2所述的表情生成方法，其中，获取原视频中每帧图像的原表情的分类信息包括：将所述每帧图像的特征信息输入表情分类模型，得到所述每帧图像的原表情的分类信息。4.根据权利要求1所述的表情生成方法，其中，所述将每帧图像的特征信息、人脸关键点的特征信息、原表情的分类信息与目标表情对应的预设分类信息进行融合包括：将所述每帧图像的原表情的分类信息与所述目标表情对应的预设分类信息进行加和取平均，得到所述每帧图像对应的融合表情的分类信息；将与训练得到的第一权重相乘后的所述每帧图像的人脸关键点的特征信息，与训练得到的第二权重相乘后的所述每帧图像的特征信息，以及所述每帧图像对应的融合表情的分类信息进行拼接。5.根据权利要求2所述的表情生成方法，其中，所述根据所述每帧图像对应的融合图像的特征信息，生成所述每帧图像对应的融合图像包括：将所述每帧图像对应的融合图像的特征信息输入解码器，输出生成的所述每帧图像对应的融合图像；其中，所述人脸特征提取模型包括卷积层，所述解码器包括反卷积层。6.一种表情生成模型的训练方法，包括：获取由原训练视频的各帧图像与目标训练视频的各帧图像组成的训练对；将所述原训练视频的各帧图像输入第一生成器，获取所述原训练视频的各帧图像的特征信息、人脸关键点的特征信息和原表情的分类信息，将所述原训练视频的各帧图像的特征信息、人脸关键点的特征信息、原表情的分类信息和目标表情对应的预设分类信息进行融合，得到所述原训练视频对应的各帧融合图像的特征信息，根据所述原训练视频对应的各帧融合图像的特征信息，得到所述第一生成器输出的所述原训练视频对应的各帧融合图像；将所述目标训练视频各帧图像输入第二生成器，获取所述目标训练视频的各帧图像的2CN115035219A权利要求书2/5页特征信息、人脸关键点的特征信息和目标表情的分类信息，将所述目标训练视频的各帧图像的特征信息、人脸关键点的特征信息、目标表情的分类信息和原表情对应的预设分类信息进行融合，得到所述目标训练视频对应的各帧融合图像的特征信息，根据所述目标训练视频对应的各帧融合图像的特征信息，得到所述第二生成器输出的所述目标训练视频对应的各帧融合图像；根据所述原训练视频对应的各帧融合图像、所述目标训练视频对应的各帧融合图像，确定对抗损失和循环一致损失；根据