特效视频的生成方法、装置、设备及存储介质.pdf

(19)中华人民共和国国家知识产权局(12)发明专利申请(10)申请公布号CN114187177A(43)申请公布日2022.03.15(21)申请号202111448252.7(22)申请日2021.11.30(71)申请人北京字节跳动网络技术有限公司地址100041北京市石景山区实兴大街30号院3号楼2层B-0035房间(72)发明人徐盼盼(74)专利代理机构北京远智汇知识产权代理有限公司11659代理人范坤坤(51)Int.Cl.G06T3/40(2006.01)G06F16/74(2019.01)权利要求书2页说明书10页附图2页(54)发明名称特效视频的生成方法、装置、设备及存储介质(57)摘要本公开实施例公开了一种特效视频的生成方法、装置、设备及存储介质。采集一张或者多张人物形象图像，并获取特效信息序列；将所述一张人物形象图像和所述特效信息序列输入第一特效生成模型，或者将所述多张人物形象图像和所述特效信息序列输入第一特效生成模型，获得多张特效图像；将所述多张特效图像按照所述设定顺序进行拼接，获得目标特效视频。本公开实施例提供的特效视频的生成方法，将所述一张人物形象图像和所述特效信息序列输入第一特效生成模型，或者将所述多张人物形象图像和所述特效信息序列输入第一特效生成模型，获得特效图像，从而获得目标特效视频，可以提高图像的趣味性及用户体验。CN114187177ACN114187177A权利要求书1/2页1.一种特效视频的生成方法，其特征在于，包括：采集一张或者多张人物形象图像，并获取特效信息序列；其中，所述特效信息序列中的特效信息按照设定顺序排列；将所述一张人物形象图像和所述特效信息序列输入第一特效生成模型，或者将所述多张人物形象图像和所述特效信息序列输入第一特效生成模型，获得多张特效图像；将所述多张特效图像按照所述设定顺序进行拼接，获得目标特效视频。2.根据权利要求1所述的方法，其特征在于，将所述多张人物形象图像和所述特效信息序列输入第一特效生成模型，获得多张特效图像，包括：将所述多张人物形象图像与所述特效信息序列组成多个特效数据对；其中，所述特效数据对由一张人物形象图像和一个特效信息构成；将所述多个特效数据对依次输入第一特效生成模型，获得多张特效图像。3.根据权利要求1所述的方法，其特征在于，所述第一特效生成模型的训练方式为：获取人物形象样本数据；将所述人物形象样本数据及关键点差异信息输入第二特效生成模型，获得第一特效数据；对所述第一特效数据进行编码，获得所述第一特效数据对应的特效信息；将所述人物形象样本数据和所述特效信息输入所述第一特效生成模型，获得第二特效数据；基于所述第一特效数据和所述第二特效数据的损失函数对所述第一特效生成模型进行训练。4.根据权利要求3所述的方法，其特征在于，获取人物形象样本数据，包括：采集真实人物形象，获得人物形象样本数据；或者，对虚拟人物形象进行渲染，获得人物形象样本数据；或者，将随机噪声输入人物形象生成模型，获得人物形象样本数据。5.根据权利要求3所述的方法，其特征在于，所述第二特效生成模型的训练方式为：获取虚拟人物特效视频数据和真实人物特效视频数据；分别从所述虚拟人物特效视频数据和真实人物特效视频数据提取两张视频帧，组成虚拟视频帧对和真实视频帧对；基于所述虚拟视频帧对所述第二特效生成模型进行训练；基于所述真实视频帧对对训练后的第二特效生成模型进行修正。6.根据权利要求5所述的方法，其特征在于，所述虚拟视频帧对包括前向虚拟视频帧和后向虚拟视频帧；基于所述虚拟视频帧对所述第二特效生成模型进行训练，包括：分别提取所述前向虚拟视频帧和后向虚拟视频帧的关键点信息，获取前向虚拟关键点信息和后向虚拟关键点信息；确定所述前向虚拟关键点信息和所述后向虚拟关键点信息间的第一差异信息；将所述第一差异信息和所述前向虚拟视频帧输入所述第二特效生成模型，获得第三特效数据；基于所述后向虚拟视频帧和所述第三特效数据的损失函数训练所述第二特效生成模型。2CN114187177A权利要求书2/2页7.根据权利要求5所述的方法，其特征在于，所述真实视频帧对包括前向真实视频帧和后向真实视频帧，基于所述真实视频帧对对训练后的第二特效生成模型进行修正，包括：分别提取所述前向真实视频帧和后向真实视频帧的关键点信息，获取前向真实关键点信息和后向真实关键点信息；确定所述前向真实关键点信息和所述后向真实关键点信息间的第二差异信息；将所述第二差异信息和所述前向真实视频帧输入所述训练后的第二特效生成模型，获得第四特效数据；基于所述后向真实视频帧和所述第四特效数据的损失函数修正所述训练后的第二特效生成模型。8.根据权利要求5所述的方法，其特征在于，所述第一特效生成模型和所述第二特效生成模型均由生成对抗网络构建，且所述第一特效生成模型的