视频的生成方法、装置、电子设备及可读存储介质.pdf

(19)中华人民共和国国家知识产权局(12)发明专利申请(10)申请公布号CN111294665A(43)申请公布日2020.06.16(21)申请号202010088388.0(22)申请日2020.02.12(71)申请人百度在线网络技术（北京）有限公司地址100085北京市海淀区上地十街10号百度大厦(72)发明人刘玉强鲍冠伯彭哲(74)专利代理机构北京鸿德海业知识产权代理事务所(普通合伙)11412代理人田宏宾(51)Int.Cl.H04N21/81(2011.01)G06T17/00(2006.01)权利要求书4页说明书17页附图3页(54)发明名称视频的生成方法、装置、电子设备及可读存储介质(57)摘要本申请公开了一种视频的生成方法、装置、电子设备及可读存储介质，涉及计算机视觉技术。具体实现方案获取待生成视频中目标对象的脸部图像的三维脸部网格和所述脸部图像的脸部图像纹理；根据所述目标对象的音频内容的音频特征，获得所述脸部图像的各二维唇形参数；根据所述脸部图像的各二维唇形参数，获得所述脸部图像的各三维表情参数；根据所述脸部图像的三维脸部网格、所述脸部图像的各三维表情参数和所述脸部图像的脸部图像纹理，获得所述三维脸部网格的各渲染脸部图像；对所述三维人脸网格的各渲染人脸图像和模板视频的各视频帧图像进行融合处理，以获得融合之后的各融合视频帧图像；以及对所述各融合视频帧图像进行合成处理，以生成融合视频。CN111294665ACN111294665A权利要求书1/4页1.一种视频的生成方法，其特征在于，包括：获取待生成视频中目标对象的脸部图像的三维脸部网格和所述脸部图像的脸部图像纹理；根据所述目标对象的音频内容的音频特征，获得所述脸部图像的各二维唇形参数；根据所述脸部图像的各二维唇形参数，获得所述脸部图像的各三维表情参数；根据所述脸部图像的三维脸部网格、所述脸部图像的各三维表情参数和所述脸部图像的脸部图像纹理，获得所述三维脸部网格的各渲染脸部图像；对所述三维人脸网格的各渲染人脸图像和模板视频的各视频帧图像进行融合处理，以获得融合之后的各融合视频帧图像；对所述各融合视频帧图像进行合成处理，以生成融合视频。2.根据权利要求1所述的方法，其特征在于，所述获取待生成视频中目标对象的脸部图像的三维脸部网格和所述脸部图像的脸部图像纹理，包括：根据所述目标对象的图像内容，获得所述脸部图像的三维脸部网格；根据所述脸部图像的三维脸部网格与所述目标对象的图像内容的投影关系，获得所述脸部图像的脸部图像纹理。3.根据权利要求2所述的方法，其特征在于，所述根据所述目标对象的图像内容，获得所述脸部图像的三维脸部网格，包括：根据所述目标对象的图像内容，获得所述目标对象的图像内容中人脸图像的关键点；根据所述人脸图像的关键点，获得所述脸部图像的三维脸部网格。4.根据权利要求1所述的方法，其特征在于，所述获取待生成视频中目标对象的脸部图像的三维脸部网格和所述脸部图像的脸部图像纹理，包括：获取基础卡通形象的脸部形状和脸部纹理；根据所述基础卡通形象的脸部形状和脸部纹理，获得所述脸部图像的三维脸部网格和所述脸部图像的脸部图像纹理。5.根据权利要求1所述的方法，其特征在于，所述根据所述目标对象的音频内容的音频特征，获得所述脸部图像的各二维唇形参数，包括：获取所述目标对象的神经网络；根据所述目标对象的音频内容的音频特征，利用所述目标对象的神经网络，获得所述脸部图像的各二维唇形参数。6.根据权利要求5所述的方法，其特征在于，所述获取所述目标对象的神经网络之前，还包括：利用训练对象的图像数据、该图像数据所对应的音频数据和该图像数据所对应的各二维唇形参数，进行模型训练处理，以获得通用的神经网络；利用所述目标对象的图像数据、该图像数据所对应的音频数据和该图像数据所对应的各二维唇形参数，进行模型调整处理，以获得所述目标对象的神经网络。7.根据权利要求1-6中任一项所述的方法，其特征在于，所述根据所述脸部图像的各二维唇形参数，获得所述脸部图像的各三维表情参数，包括：获取所述脸部图像的各表情基；根据所述脸部图像的各二维唇形参数、所述脸部图像的三维脸部网格和所述脸部图像2CN111294665A权利要求书2/4页的各表情基，获得所述脸部图像的各二维唇形参数所对应的所述脸部图像的各三维唇形参数的表示，所述脸部图像的各三维唇形参数通过所述脸部图像的三维脸部网格和所述脸部图像的各表情基的线性加权表示；根据所述脸部图像的各二维唇形参数和所述脸部图像的各三维唇形参数，获得所述脸部图像的各表情基的权重参数，以作为所述脸部图像的各三维表情参数。8.根据权利要求7所述的方法，其特征在于，所述获取所述脸部图像的各表情基，包括：获取所述人脸图像的三维脸部网格；根据标准的各表情基、标准的三维脸部网格和所述人