模型训练、虚拟人物图像生成方法和装置以及存储介质.pdf

(19)中华人民共和国国家知识产权局(12)发明专利申请(10)申请公布号CN112102468A(43)申请公布日2020.12.18(21)申请号202010790459.1(22)申请日2020.08.07(71)申请人北京沃东天骏信息技术有限公司地址100176北京市大兴区北京经济技术开发区科创十一街18号院2号楼4层A402室申请人北京京东世纪贸易有限公司(72)发明人刘颖璐石海林梅涛周伯文(74)专利代理机构中国贸促会专利商标事务所有限公司11038代理人方亮(51)Int.Cl.G06T17/00(2006.01)G06T15/00(2011.01)权利要求书4页说明书12页附图8页(54)发明名称模型训练、虚拟人物图像生成方法和装置以及存储介质(57)摘要本公开提供了一种模型训练方法和装置、虚拟人物图像生成方法和装置以及存储介质，涉及深度学习技术领域，其中的方法包括：使用第一子模型并基于训练样本集中的训练样本获得第一特征信息；使用对应的第二子模型并基于比对样本集中的比对样本获得第二特征信息；根据第一特征信息与第二特征信息或图像信息的比对结果对第一子模型的参数进行调整，用以获得训练好的虚拟人物图像生成模型。本公开的方法、装置以及存储介质，使用已训练好的训练标注模型在模型训练过程中生成标注数据，可以有效地结合2D和3D信息进行模型训练，避免采集大量的训练数据，提高了模型训练以及使用的效率和准确性。CN112102468ACN112102468A权利要求书1/4页1.一种模型训练方法，其中，虚拟人物图像生成模型包括至少一个待训练的第一子模型，训练标注模型包括至少一个训练好的第二子模型，所述方法包括：对视频样本进行分离处理，获取与所述视频样本相对应的音频信息和图像信息；根据所述音频信息、所述图像信息和与所述图像信息相对应的人物基准图像生成训练样本集合，并且，根据所述图像信息和所述人物基准图像生成比对样本集合；使用所述第一子模型并基于所述训练样本集中的训练样本获得第一特征信息；使用对应的第二子模型并基于所述比对样本集中的比对样本获得第二特征信息；根据所述第一特征信息与所述第二特征信息或所述图像信息的比对结果对所述第一子模型的参数进行调整，用以获得训练好的所述虚拟人物图像生成模型。2.如权利要求1所述的方法，还包括：设置所述第一子模型与所述第二子模型的对应关系；基于所述对应关系在所述训练样本集中选取与所述第一子模型相对应的训练样本，并在所述比对样本集合中选取与所述第二子模型相对应的比对样本。3.如权利要求2所述的方法，所述第一子模型包括：第一姿态估计模型，所述第二子模型包括：第二姿态估计模型；所述训练样本包括：音频样本，所述比对样本包括：与所述音频样本相对应的图像样本；所述使用所述第一子模型并基于所述训练样本集中的训练样本获得第一特征信息包括：使用所述第一姿态估计模型并基于所述音频样本获得第一人物姿态信息；所述使用对应的第二子模型并基于所述比对样本集中的比对样本获得第二特征信息包括：使用所述第二姿态估计模型并基于所述图像样本获得第二人物姿态信息；所述根据所述第一特征信息与所述第二特征信息或所述图像信息的比对结果对所述第一子模型的参数进行调整包括：根据所述第一人物姿态信息和所述第二人物姿态信息的比对结果计算第一估计损失；根据所述第一估计损失对所述第一姿态估计模型的参数进行调整。4.如权利要求2所述的方法，所述第一子模型包括：面部关键点偏差估计模型，所述第二子模型包括：第一3D重建模型；所述训练样本包括：音频样本，所述比对样本包括：与所述音频样本相对应的图像样本；所述使用所述第一子模型并基于所述训练样本集中的训练样本获得第一特征信息包括：使用所述面部关键点偏差估计模型并基于所述音频样本获得面部关键点偏差信息；所述使用对应的第二子模型并基于所述比对样本集中的比对样本获得第二特征信息包括：使用所述第一3D重建模型并基于所述图像样本获得第一3D人物模型；所述根据所述第一特征信息与所述第二特征信息或所述图像信息的比对结果对所述第一子模型的参数进行调整包括：根据所述面部关键点偏差信息获取第二3D人物模型；根据所述第一3D人物模型和所述第二3D人物模型的比对结果计算第二估计损失；2CN112102468A权利要求书2/4页根据所述第二估计损失对所述面部关键点偏差估计模型的参数进行调整。5.如权利要求4所述的方法，所述第二子模型还包括：第二3D重建模型；所述比对样本包括：与所述图像样本相对应的人物基准图像样本；所述根据所述面部关键点偏差信息获取第二3D人物模型包括：使用所述第二3D重建模型并基于所述人物基准图像样本获得3D人物基准模型；根据所述3D人物基准模型与所述面部关键点偏差信息进行合成处理，生成所述第二3D人物模型。6.如权利要求2所