预览加载中,请您耐心等待几秒...
1/10
2/10
3/10
4/10
5/10
6/10
7/10
8/10
9/10
10/10

亲,该文档总共16页,到这已经超出免费预览范围,如果喜欢就直接下载吧~

如果您无法下载资料,请参考说明:

1、部分资料下载需要金币,请确保您的账户上有足够的金币

2、已购买过的文档,再次下载不重复扣费

3、资料包下载后请先用软件解压,在使用对应软件打开

(19)中华人民共和国国家知识产权局(12)发明专利申请(10)申请公布号CN113691833A(43)申请公布日2021.11.23(21)申请号202010420711.X(22)申请日2020.05.18(71)申请人北京搜狗科技发展有限公司地址100084北京市海淀区中关村东路1号院9号楼搜狐网络大厦9层01房间(72)发明人樊博徐祯陈曦(74)专利代理机构北京华沛德权律师事务所11302代理人房德权(51)Int.Cl.H04N21/234(2011.01)H04N21/44(2011.01)H04N21/81(2011.01)G06K9/00(2006.01)权利要求书2页说明书10页附图3页(54)发明名称虚拟主播换脸方法、装置、电子设备及存储介质(57)摘要本发明实施例公开了一种虚拟主播换脸方法、装置、电子设备及存储介质,通过端对端的序列学习模型处理目标虚拟主播的历史视频素材,得到目标虚拟主播的人脸特征参数;使用候选虚拟人脸对所述目标虚拟主播进行换脸,得到对应换脸虚拟主播的图像素材;通过端对端的序列学习模型处理目标虚拟主播的人脸特征参数和图像素材,得到换脸虚拟主播的人脸特征参数;根据换脸虚拟主播的人脸特征参数将候选虚拟人脸融合到历史视频素材上,得到换脸后视频素材。以此提高了历史视频素材的利用率,使得换脸虚拟主播的形象真实自然、面部特征运动自然、协调。CN113691833ACN113691833A权利要求书1/2页1.一种虚拟主播换脸方法,其特征在于,包括:通过端对端的序列学习模型处理目标虚拟主播的历史视频素材,得到所述目标虚拟主播的人脸特征参数;使用候选虚拟人脸对所述目标虚拟主播进行换脸,得到对应换脸虚拟主播的图像素材;通过所述端对端的序列学习模型处理所述目标虚拟主播的人脸特征参数和所述图像素材,得到所述换脸虚拟主播的人脸特征参数;根据所述换脸虚拟主播的人脸特征参数,将所述候选虚拟人脸融合到历史视频素材上,得到换脸后视频素材。2.如权利要求1所述的方法,其特征在于,所述目标虚拟主播的人脸特征参数,包括:所述目标虚拟主播在不同表情下的面部特征运动参数;或者所述目标虚拟主播在不同表情下的面部特征运动参数和如下至少一种附加参数:所述目标虚拟主播的脸部轮廓参数、所述目标虚拟主播的面部特征比例参数、所述目标虚拟主播的性别特征参数、所述目标虚拟主播的头部与所述目标虚拟主播除所述头部之外的各个身体部位之间的比例参数。3.如权利要求2所述的方法,其特征在于,所述通过端对端的序列学习模型处理目标虚拟主播的历史视频素材,得到所述目标虚拟主播的人脸特征参数,包括:通过所述端对端的序列学习模型的嵌入层对历史视频素材进行映射,得到所述目标虚拟主播的原始面部特征,以及与所述原始面部特征对应的源文本特征;通过所述端对端的序列学习模型的前馈转换器处理所述原始面部特征和所述源文本特征,得到与所述原始面部特征对应的原始面部特征向量,以及与所述源文本特征对应的第一文本编码特征;将所述原始面部特征向量与所述第一文本编码特征对齐后进行拼帧和解码,得到所述目标虚拟主播的面部特征运动参数。4.如权利要求1所述的方法,其特征在于,所述根据候选虚拟人脸对所述目标虚拟主播进行换脸,得到换脸虚拟主播的图像素材,包括:确定候选虚拟人脸;针对所述历史视频素材上的目标虚拟主播,将所述候选虚拟人脸与所述目标虚拟主播的人脸部位进行人脸融合,作为所述对应换脸虚拟主播的图像素材。5.如权利要求1所述的方法,其特征在于,所述换脸虚拟主播的人脸特征参数,包括:所述换脸虚拟主播在不同表情下的面部特征运动参数;或者所述换脸虚拟主播在不同表情下的面部特征运动参数和如下至少一种附加参数:所述换脸虚拟主播的脸部轮廓参数、所述换脸虚拟主播的面部特征比例参数、所述换脸虚拟主播的性别特征参数、所述换脸虚拟主播的头部与所述换脸虚拟主播上除所述头部之外的各个身体部位之间的比例参数。6.如权利要求5所述的方法,其特征在于,所述通过所述端对端的序列学习模型处理所述目标虚拟主播的人脸特征参数和所述图像素材,得到所述换脸虚拟主播的人脸特征参数,包括:通过所述端对端的序列学习模型的嵌入层对所述图像素材进行映射,得到所述换脸虚2CN113691833A权利要求书2/2页拟主播的换脸后面部特征;通过所述端对端的序列学习模型的前馈转换器处理所述换脸后面部特征和所述目标虚拟主播的人脸特征参数,得到所述换脸后面部特征对应的换脸面部特征向量,以及与所述目标虚拟主播的人脸特征参数对应的第二文本编码特征;将所述换脸面部特征向量与所述第二文本编码特征对齐后进行拼帧和解码,得到所述换脸虚拟主播的面部特征运动参数。7.如权利要求1所述的方法,其特征在于,所述根据所述换脸虚拟主播的人脸特征参数,将所述候选虚拟人脸融合到历史视频素材