对象姿态迁移方法、装置、设备及存储介质.pdf

(19)中华人民共和国国家知识产权局(12)发明专利申请(10)申请公布号CN113705295A(43)申请公布日2021.11.26(21)申请号202110262518.2(22)申请日2021.03.10(71)申请人中国科学院计算技术研究所地址100080北京市海淀区中关村科学院南路6号申请人腾讯科技（深圳）有限公司(72)发明人高林黄浩智孙阳天王璇刘威(74)专利代理机构北京派特恩知识产权代理有限公司11270代理人刘星雨张颖玲(51)Int.Cl.G06K9/00(2006.01)G06K9/62(2006.01)权利要求书3页说明书21页附图6页(54)发明名称对象姿态迁移方法、装置、设备及存储介质(57)摘要本申请提供了一种对象姿态迁移方法、装置、设备及计算机可读存储介质，涉及计算机视觉技术领域，所述方法包括：获取源对象的视频帧中用于表征源对象的肢体动作的姿态数据；姿态数据包括表征对象骨架姿态的骨架特征和表征对象模型姿态的模型特征；基于骨架特征和模型特征，分别生成目标对象的动态纹理数据和纹理坐标数据；根据动态纹理数据和纹理坐标数据，生成用于显示目标对象的前景迁移图像；前景迁移图像中目标对象的肢体动作与视频帧中源对象的肢体动作相同；基于前景迁移图像，生成迁移视频帧。通过本申请提供的对象姿态迁移方法，能够生成细节丰富的迁移视频帧。CN113705295ACN113705295A权利要求书1/3页1.一种对象姿态迁移方法，其特征在于，包括：获取源对象的视频帧中用于表征所述源对象的肢体动作的姿态数据；所述姿态数据包括表征对象骨架姿态的骨架特征和表征对象模型姿态的模型特征；基于所述骨架特征和所述模型特征，分别生成目标对象的动态纹理数据和纹理坐标数据；根据所述动态纹理数据和所述纹理坐标数据，生成用于显示所述目标对象的前景迁移图像；所述前景迁移图像中所述目标对象的肢体动作与所述视频帧中所述源对象的肢体动作相同；基于所述前景迁移图像，生成迁移视频帧。2.根据权利要求1所述的方法，其特征在于，所述纹理坐标数据包括所述前景迁移图像中每一迁移像素点对应的迁移坐标信息；所述动态纹理数据包括每一所述纹理部位对应的迁移纹理图；所述基于所述骨架特征和所述模型特征，生成动态纹理数据和纹理坐标数据，包括：根据所述骨架特征和所述模型特征，生成每一所述迁移像素点对应的迁移坐标信息；所述迁移坐标信息包括所述迁移像素点处于每一所述纹理部位的坐标信息和置信度信息；根据所述骨架特征和所述模型特征，生成每一所述纹理部位对应的迁移纹理图；所述根据所述动态纹理数据和所述纹理坐标数据，生成前景迁移图像，包括：基于每一所述纹理部位对应的迁移纹理图，每一所述前景像素点处于每一所述纹理部位的坐标信息和置信度信息，生成所述前景迁移图像。3.根据权利要求2所述的方法，其特征在于，所述基于所述前景迁移图像，生成迁移视频帧，包括：根据所述骨架特征、所述模型特征对初始背景图进行处理，得到背景迁移图像；融合所述前景迁移图像和所述背景迁移图像，得到所述迁移视频帧。4.根据权利要求3所述的方法，其特征在于，所述融合所述前景迁移图像和所述背景迁移图像，得到所述迁移视频帧，包括：根据每一所述迁移像素点处于每一所述纹理部位的置信度信息，确定所述迁移视频帧中与每一所述迁移像素点对应的目标像素点属于所述背景迁移图像的概率；基于每一所述目标像素点属于所述背景迁移图像的概率、所述前景迁移图像和所述背景迁移图像，确定所述迁移视频帧。5.根据权利要求1所述的方法，由已训练的姿态迁移模型实现；所述姿态迁移模型的训练过程，包括：获取所述目标对象视频中的原始视频帧；提取所述原始视频帧中的原始骨架特征和原始模型特征；将所述原始骨架特征和所述原始模型特征输入至待训练的姿态迁移模型，得到预测视频帧；其中，所述姿态预测网络用于根据所述原始骨架特征和所述原始模型特征生成预测纹理数据和预测坐标数据，根据所述预测纹理数据和所述预测坐标数据，生成前景预测图像，并基于所述前景预测图像，生成所述预测视频帧；基于所述原始视频帧和所述预测视频帧，对所述待训练的姿态迁移模型的参数进行调整，以得到已训练的姿态迁移模型。2CN113705295A权利要求书2/3页6.根据权利要求5所述的方法，其特征在于，所述姿态迁移模型包括前景生成网络和背景生成网络；所述将所述原始骨架特征和所述原始模型特征输入至待训练的姿态迁移模型，得到预测视频帧，包括：将所述原始骨架特征和所述原始模型特征输入至所述前景生成网络，得到所述前景预测图像；将所述原始骨架特征和所述原始模型特征和初始背景图输入至所述背景生成网络，得到背景预测图像；融合所述前景预测图像和所述背景预测图像，得到所述预测视频帧。7.根据权利要求6所述的方法，其特征在于，所述前景生成网络包括纹理图像