虚拟形象的生成方法、装置、电子设备及存储介质.pdf

(19)中华人民共和国国家知识产权局(12)发明专利申请(10)申请公布号CN110782515A(43)申请公布日2020.02.11(21)申请号201911063132.8(22)申请日2019.10.31(71)申请人北京字节跳动网络技术有限公司地址100041北京市石景山区实兴大街30号院3号楼2层B-0035房间(72)发明人邓涵(74)专利代理机构北京新知远方知识产权代理事务所(普通合伙)11397代理人马军芳张艳(51)Int.Cl.G06T13/40(2011.01)G06T7/11(2017.01)G06K9/00(2006.01)权利要求书4页说明书18页附图11页(54)发明名称虚拟形象的生成方法、装置、电子设备及存储介质(57)摘要本公开实施例提供一种虚拟形象的生成方法、装置、电子设备及存储介质；方法包括：接收到目标对象的虚拟形象的获取请求，所述获取请求携带所述目标对象的帧图像；响应于所述获取请求，对所述目标对象的帧图像进行区域分割，得到对应所述目标对象的头部不同部分的图像；通过神经网络模型，分别对所述目标对象的头部不同部分对应的图像进行类别预测，以确定所述目标对象的头部各部分所属的类别；基于所述目标对象的头部各部分所属的类别，确定对应所述头部各部分的素材；基于确定的所述素材，生成所述目标对象的虚拟形象模型；返回所述虚拟形象模型，以基于所述虚拟形象模型渲染得到所述目标对象的虚拟形象。CN110782515ACN110782515A权利要求书1/4页1.一种虚拟形象的生成方法，其特征在于，所述方法包括：接收到目标对象的虚拟形象的获取请求，所述获取请求携带所述目标对象的帧图像；响应于所述获取请求，对所述目标对象的帧图像进行区域分割，得到对应所述目标对象的头部不同部分的图像；通过神经网络模型，分别对所述目标对象的头部不同部分对应的图像进行类别预测，以确定所述目标对象的头部各部分所属的类别；基于所述目标对象的头部各部分所属的类别，确定对应所述头部各部分的素材；基于确定的所述素材，生成所述目标对象的虚拟形象模型；返回所述虚拟形象模型，以基于所述虚拟形象模型渲染得到所述目标对象的虚拟形象。2.如权利要求1所述的方法，其特征在于，所述对所述目标对象的帧图像进行区域分割，得到对应所述目标对象的头部不同部分的图像，包括：识别所述目标对象的帧图像中所述目标对象的头部不同部分，以确定所述目标对象的头部各部分对应的图像区域；基于所述目标对象的头部各部分对应的图像区域，对所述帧图像进行区域分割，得到对应所述目标对象头部不同部分的图像。3.如权利要求2所述的方法，其特征在于，所述识别所述目标对象的帧图像中所述目标对象的头部不同部分，包括：对所述目标对象的帧图像进行人脸关键点检测，确定所述目标对象的人脸关键点；基于确定的所述人脸关键点进行人脸对齐，以识别所述目标对象的帧图像中所述目标对象的头部不同部分。4.如权利要求1所述的方法，其特征在于，所述通过神经网络模型，分别对所述目标对象的头部不同部分对应的图像进行类别预测，以确定所述目标对象的头部各部分所属的类别，包括：对于所述目标对象的头部各部分中的目标部分，执行如下操作：获取对应所述目标部分的目标神经网络模型；通过所述目标神经网络模型，对所述目标部分对应的图像进行特征提取，得到所述目标部分对应的特征向量；基于所述目标部分对应的特征向量，对所述目标部分所属的类别进行预测，以确定所述目标部分所属的类别。5.如权利要求4所述的方法，其特征在于，所述方法还包括：通过所述目标神经网络模型，对所述目标部分对应的样本图像进行特征提取，得到所述目标部分对应的特征向量；其中，所述样本图像标注有所述目标部分所属的类别；基于所述目标部分对应的特征向量，预测所述目标部分所属的类别，得到预测结果；获取所述预测结果与目标结果之间的差异；基于所述预测结果与目标结果之间的差异，更新所述目标神经网络模型的模型参数。6.如权利要求4所述的方法，其特征在于，所述基于所述预测结果与目标结果之间的差异，更新所述目标神经网络模型的模型参数，包括：基于所述预测结果与目标结果之间的差异，确定所述目标神经网络模型的损失函数的2CN110782515A权利要求书2/4页值；当所述目标损失函数的值超出预设阈值时，基于所述目标损失函数确定所述目标神经网络模型的误差信号；将所述误差信号在所述目标神经网络模型中反向传播，并在传播的过程中更新各个层的模型参数。7.如权利要求1所述的方法，其特征在于，所述基于所述目标对象的头部各部分所属的类别，确定对应所述头部各部分的素材，包括：获取头部各部分所属的类别与相应素材的映射关系；基于获取的所述映射关系，确定与所述目标对象的头部各部分所属的类别相对应的虚拟形象的三维素材；所述三维素材，用于供生成所述目