虚拟世界的虚拟形象处理方法及装置.pdf

(19)国家知识产权局(12)发明专利申请(10)申请公布号CN115359219A(43)申请公布日2022.11.18(21)申请号202210983422.X(22)申请日2022.08.16(71)申请人支付宝（杭州）信息技术有限公司地址310000浙江省杭州市西湖区西溪路556号8层B段801-11(72)发明人曹佳炯丁菁汀(74)专利代理机构北京国昊天诚知识产权代理有限公司11315专利代理师付先智(51)Int.Cl.G06T19/00(2011.01)G06T15/00(2011.01)G06F16/58(2019.01)G06F16/583(2019.01)G06F21/62(2013.01)权利要求书3页说明书12页附图3页(54)发明名称虚拟世界的虚拟形象处理方法及装置(57)摘要本说明书实施例提供了虚拟世界的虚拟形象处理方法及装置，其中，一种虚拟世界的虚拟形象处理方法包括：对用户针对虚拟世界内的脱敏虚拟形象输入的编辑关键词进行特征提取，获得编辑属性特征；对所述用户的多视角图像进行特征提取，获得身份特征和图像属性特征；基于所述编辑属性特征、所述身份特征和所述图像属性特征进行图像重建，获得目标虚拟形象，并将所述目标虚拟形象渲染输出至所述虚拟世界的接入设备。CN115359219ACN115359219A权利要求书1/3页1.一种虚拟世界的虚拟形象处理方法，包括：对用户针对虚拟世界内的脱敏虚拟形象输入的编辑关键词进行特征提取，获得编辑属性特征；对所述用户的多视角图像进行特征提取，获得身份特征和图像属性特征；基于所述编辑属性特征、所述身份特征和所述图像属性特征进行图像重建，获得目标虚拟形象，并将所述目标虚拟形象渲染输出至所述虚拟世界的接入设备。2.根据权利要求1所述的虚拟世界的虚拟形象处理方法，所述脱敏虚拟形象，通过将所述多视角图像输入第一解耦重建模型进行图像重建后生成；其中，所述第一解耦重建模型进行的图像重建，包括：将所述多视角图像输入第一编码器进行特征解耦和特征提取，输出第一身份特征和第一属性特征；将第一身份特征和第一属性特征输入第一解码器进行三维图像重建，输出所述脱敏虚拟形象。3.根据权利要求2所述的虚拟世界的虚拟形象处理方法，所述第一解耦重建模型，采用如下方式进行训练：将第一训练样本集中的多视角图像样本输入第一待训练模型进行图像重建，输出第一图像重建结果；基于所述第一图像重建结果和所述多视角图像样本对应的第一样本标签计算第一训练损失，并基于第一训练损失更新所述第一待训练模型的训练参数。4.根据权利要求3所述的虚拟世界的虚拟形象处理方法，所述第一待训练模型进行的图像重建，包括：将所述多视角图像样本输入第一编码器进行特征解耦和特征提取，输出第一训练身份特征和第一训练属性特征；将输出的第一训练身份特征和第一训练属性特征输入第一解码器进行三维图像重建，输出第一训练虚拟形象；将所述多视角图像样本中任一视角图像，以及所述第一训练虚拟形象在对应视角的虚拟图像输入第一身份识别网络进行身份识别，输出第一样本身份特征和第一虚拟身份特征。5.根据权利要求3所述的虚拟世界的虚拟形象处理方法，所述基于所述第一图像重建结果和所述多视角图像样本对应的第一样本标签计算第一训练损失，包括：基于第一训练属性特征和所述第一样本标签计算第一特征损失；基于第一样本身份特征和第一虚拟身份特征计算第一身份识别损失，并将所述第一特征损失与所述第一身份识别损失的差值作为所述第一训练损失。6.根据权利要求3或5所述的虚拟世界的虚拟形象处理方法，所述第一样本标签，采用如下方式确定：对三维用户图像和彩色用户图像进行图像建模，获得三维形象模板；将所述三维形象模板输入图像增强网络进行图像增强，将输出的增强后的增强图像特征作为所述第一样本标签。7.根据权利要求1所述的虚拟世界的虚拟形象处理方法，所述方法由第二解耦重建模2CN115359219A权利要求书2/3页型执行，所述第二解耦重建模型，包括词编码网络、第二编码器和第二解码器；其中，所述词编码网络对输入的所述编辑关键词的词向量进行特征提取输出所述编辑属性特征；所述第二编码器对所述多视角图像进行特征解耦和特征提取，输出所述身份特征和所述图像属性特征；所述第二解码器基于输入的所述编辑属性特征、所述身份特征和所述图像属性特征进行三维图像重建，输出所述目标虚拟形象。8.根据权利要求7所述的虚拟世界的虚拟形象处理方法，所述第二解耦重建模型，采用如下方式进行训练：将第二训练样本集中的训练样本输入第二待训练模型进行图像重建，输出第二图像重建结果；基于所述第二图像重建结果和所述训练样本对应的第二样本标签计算第二训练损失，并基于所述第二训练损失更新所述第二待训练模型的训练参数。9.根据权利要求8所述的虚拟世界的虚拟形象处理方法，