动画生成方法、装置、计算机设备和存储介质.pdf

(19)中华人民共和国国家知识产权局(12)发明专利申请(10)申请公布号CN113920232A(43)申请公布日2022.01.11(21)申请号202111275624.0G06N3/08(2006.01)(22)申请日2021.10.29(71)申请人上海商汤智能科技有限公司地址200233上海市徐汇区桂平路391号3号楼1605A室(72)发明人许嘉晨汪旻刘文韬钱晨马利庄(74)专利代理机构北京中知恒瑞知识产权代理事务所(普通合伙)11889代理人袁忠林(51)Int.Cl.G06T13/40(2011.01)G06V20/40(2022.01)G06V10/82(2022.01)G06N3/04(2006.01)权利要求书3页说明书18页附图3页(54)发明名称动画生成方法、装置、计算机设备和存储介质(57)摘要本公开提供了一种动画生成方法、装置、计算机设备和存储介质，其中，该方法包括：获取包含目标对象的目标视频；提取所述目标视频中的多帧视频帧分别对应的人体特征；基于所述目标视频中的多帧视频帧分别对应的人体特征和先验空间训练的神经网络，确定与所述目标对象在所述目标视频中做出的目标运动匹配的目标先验运动特征；其中，所述目标运动对应的目标先验运动特征融合了用于描述所述目标运动的多帧样本运动数据，所述先验空间中包括多个运动分别对应的先验运动特征；基于所述目标先验运动特征，生成包括虚拟对象做出所述目标对象做出的目标运动的三维运动动画。CN113920232ACN113920232A权利要求书1/3页1.一种动画生成方法，其特征在于，包括：获取包含目标对象的目标视频；提取所述目标视频中的多帧视频帧分别对应的人体特征；基于所述目标视频中的多帧视频帧分别对应的人体特征和先验空间训练的神经网络，确定与所述目标对象在所述目标视频中做出的目标运动匹配的目标先验运动特征；其中，所述目标运动对应的目标先验运动特征融合了用于描述所述目标运动的多帧样本运动数据，所述先验空间中包括多个运动分别对应的先验运动特征；基于所述目标先验运动特征，生成包括虚拟对象做出所述目标对象做出的目标运动的三维运动动画。2.根据权利要求1所述的方法，其特征在于，所述基于所述目标视频中的多帧视频帧分别对应的人体特征和先验空间训练的神经网络，确定与所述目标对象在所述目标视频中做出的目标运动匹配的目标先验运动特征，包括：基于所述目标视频中的多帧视频帧分别对应的人体特征，确定所述目标视频对应的时序特征集合；基于所述时序特征集合和所述神经网络，确定所述目标先验运动特征。3.根据权利要求2所述的方法，其特征在于，所述基于所述目标视频中的多帧视频帧分别对应的人体特征，确定所述目标视频对应的时序特征集合，包括：将提取到的多帧视频帧分别对应的所述人体特征，按照所述视频帧对应的第一时序信息进行串联，确定所述目标视频对应的时序特征集合。4.根据权利要求2所述的方法，其特征在于，所述基于所述目标视频中的多帧视频帧分别对应的人体特征，确定所述目标视频对应的时序特征集合，包括：基于所述目标视频中的多帧视频帧分别对应的人体特征，预测所述目标视频之后的N帧视频帧分别对应的预测人体特征；其中，N为预设正整数；将所述目标视频中的多帧视频帧分别对应的所述人体特征和所述N帧视频帧分别对应的预测人体特征，按照所述视频帧对应的第二时序信息进行串联，确定所述目标视频对应的时序特征集合。5.根据权利要求4所述的方法，其特征在于，所述基于所述目标视频中的多帧视频帧分别对应的人体特征，预测所述目标视频之后的N帧视频帧分别对应的预测人体特征，包括：针对所述目标视频之后的M帧视频帧，基于所述目标视频中的多帧视频帧分别对应的人体特征和所述M帧视频帧分别对应的预测人体特征，预测所述目标视频之后的第M+1帧视频帧的预测人体特征；M为小于N的正整数。6.根据权利要求1～5任一项所述的方法，其特征在于，所述方法还包括根据以下方式训练所述神经网络：获取样本视频，并提取所述样本视频中的多帧视频帧分别对应的样本人体特征；基于待训练的神经网络和所述样本人体特征，确定所述样本视频对应的样本先验运动特征；检测所述样本先验运动特征是否为所述先验空间中的先验运动特征，并基于检测结果调整所述待训练的神经网络的网络参数。7.根据权利要求2～5任一所述的方法，其特征在于，所述基于所述时序特征集合和所2CN113920232A权利要求书2/3页述神经网络，确定所述目标先验运动特征，包括：将所述时序特征集合输入至所述神经网络，执行如下操作：基于多个卷积层对所述时序特征集合进行特征提取，得到多个提取特征；将所述多个提取特征输入至全连接层，得到所述目标先验运动特征。8.根据权利要求2～5任一所述的方法，其特征在于，所述基于所述时序特征集合和所述神经网络，确定所