虚拟形象的生成方法、装置、电子设备及存储介质.pdf

(19)中华人民共和国国家知识产权局(12)发明专利申请(10)申请公布号CN110766777A(43)申请公布日2020.02.07(21)申请号201911053622.X(22)申请日2019.10.31(71)申请人北京字节跳动网络技术有限公司地址100041北京市石景山区实兴大街30号院3号楼2层B-0035房间(72)发明人蒋颂晟(74)专利代理机构北京新知远方知识产权代理事务所(普通合伙)11397代理人马军芳张艳(51)Int.Cl.G06T13/40(2011.01)G06K9/00(2006.01)权利要求书3页说明书17页附图10页(54)发明名称虚拟形象的生成方法、装置、电子设备及存储介质(57)摘要本公开实施例提供一种虚拟形象的生成方法、装置、电子设备及存储介质；方法包括：对包括目标对象的帧图像进行特征识别，得到所述目标对象的骨骼特征及表情特征；获取基础虚拟形象模型；基于所述目标对象的骨骼特征，对所述基础虚拟形象模型的骨骼特征进行调整，得到与所述目标对象的骨骼特征相匹配的虚拟形象模型；基于所述目标对象的表情特征，对所述虚拟形象模型的表情特征进行调整，得到与所述目标对象的表情特征相匹配的目标虚拟形象模型；所述目标虚拟形象模型用于供渲染得到所述目标对象的虚拟形象；通过本公开，能够实现个性化虚拟形象的创建。CN110766777ACN110766777A权利要求书1/3页1.一种虚拟形象的生成方法，其特征在于，所述方法包括：对包括目标对象的帧图像进行特征识别，得到所述目标对象的骨骼特征及表情特征；获取基础虚拟形象模型；基于所述目标对象的骨骼特征，对所述基础虚拟形象模型的骨骼特征进行调整，得到与所述目标对象的骨骼特征相匹配的虚拟形象模型；基于所述目标对象的表情特征，对所述虚拟形象模型的表情特征进行调整，得到与所述目标对象的表情特征相匹配的目标虚拟形象模型；所述目标虚拟形象模型用于供渲染得到所述目标对象的虚拟形象。2.如权利要求1所述的方法，其特征在于，所述对包括目标对象的帧图像进行特征识别，得到所述目标对象的骨骼特征及表情特征，包括：识别所述帧图像中包含的目标对象的头部不同部分，以确定所述目标对象的头部各部分对应的图像区域；基于确定的所述图像区域，对所述目标对象头部各部分对应的图像进行特征提取，得到所述目标对象的骨骼特征及表情特征。3.如权利要求1所述的方法，其特征在于，所述基于所述目标对象的骨骼特征，对所述基础虚拟形象模型的骨骼特征进行调整，包括：获取所述基础虚拟形象模型的骨骼特征；基于所述目标对象的骨骼特征及所述基础虚拟形象模型的骨骼特征，确定对应所述虚拟形象模型相对所述基础虚拟形象模型的骨骼变换信息；基于所述骨骼变换信息，调整所述基础虚拟形象模型中各部分的顶点信息。4.如权利要求3所述的方法，其特征在于，所述基于所述骨骼变换信息，调整所述基础虚拟形象模型中各部分的顶点信息，包括：基于所述骨骼变换信息，确定相应的骨骼缩放系数、以及相应的骨骼位移；基于所述骨骼缩放系数及所述骨骼位移，对所述基础虚拟形象模型中各顶点位置进行调整，得到所述虚拟形象模型。5.如权利要求1所述的方法，其特征在于，所述基于所述目标对象的表情特征，对所述虚拟形象模型的表情特征进行调整，包括：基于所述目标对象的表情特征，确定所述虚拟形象模型头部各部分中目标部分对应的表情参数，所述表情参数用于指示所述目标部分所处的表情状态；获取所述基础虚拟形象模型的第一表情数据和所述虚拟形象模型的第二表情数据；基于所述表情参数、所述第一表情数据和第二表情数据，对所述虚拟形象模型的表情特征进行调整。6.如权利要求5所述的方法，其特征在于，所述基于所述表情参数、所述第一表情数据和第二表情数据，对所述虚拟形象模型的表情特征进行调整，包括：基于所述表情参数，对所述第一表情数据和第二表情数据进行插值，得到插值结果；基于所述插值结果，调整所述虚拟形象模型中各顶点，得到所述目标虚拟形象模型。7.如权利要求6所述的方法，其特征在于，所述基于所述表情参数，对所述第一表情数据和第二表情数据进行插值，得到插值结果，包括：基于所述表情参数，采用如下公式对所述第一表情数据和第二表情数据进行插值，得2CN110766777A权利要求书2/3页到插值结果：Z＝X*(1-a)+Y*a其中，Z为所述目标虚拟形象模型的表情数据，X为所述第一表情数据，Y为所述第二表情数据，a为所述表情参数。8.如权利要求1所述的方法，其特征在于，所述方法还包括：对包括所述目标对象的多帧连续的帧图像进行关键点识别；获取所述多帧连续的帧图像中所述目标对象的关键点变化信息；基于所述关键点变化信息，生成所述虚拟形象的形态更新指令，以动态的呈现所述虚拟形象。9.如权利要求1所述的方法，其特征在于，所述方法还包括：接收