数字人驱动方法、装置、设备及存储介质.pdf

(19)国家知识产权局(12)发明专利申请(10)申请公布号CN114998491A(43)申请公布日2022.09.02(21)申请号202210917824.X(22)申请日2022.08.01(71)申请人阿里巴巴（中国）有限公司地址311121浙江省杭州市余杭区五常街道文一西路969号3幢5层554室(72)发明人崔雨豪蒲黎明史运洲丁浩生赵中州周伟肖志勇陈海青(74)专利代理机构北京开阳星知识产权代理有限公司11710专利代理师张子青(51)Int.Cl.G06T13/40(2011.01)G06N20/00(2019.01)权利要求书2页说明书14页附图4页(54)发明名称数字人驱动方法、装置、设备及存储介质(57)摘要本公开涉及一种数字人驱动方法、装置、设备及存储介质。本公开通过驱动数字人的控制指令，从运动匹配模块和运动控制模块中确定出执行该控制指令的目标模块。由于运动匹配模块可以根据控制指令，从多个预设动画片段中确定出与控制指令匹配的目标动画片段。运动控制模块可以将控制指令、数字人的历史运动骨骼信息和历史运动轨迹输入到预先训练完成的机器学习模型中，通过机器学习模型生成用于驱动数字人的骨骼运动信息。因此，本实施例可以在两种确定骨骼运动信息的方式之间自由的切换，使得不同场景下的控制指令可以通过不同的方式生成驱动数字人的骨骼运动信息，不需要构建状态转移图，因此节省了人工成本。CN114998491ACN114998491A权利要求书1/2页1.一种数字人驱动方法，其中，所述方法包括：获取用于驱动数字人的控制指令；根据所述控制指令，从运动匹配模块和运动控制模块中确定出执行所述控制指令的目标模块；若所述目标模块是所述运动匹配模块，则根据所述控制指令，从多个预设动画片段中确定出与所述控制指令匹配的目标动画片段，并将所述目标动画片段中的骨骼运动信息作为驱动所述数字人的骨骼运动信息；若所述目标模块是所述运动控制模块，则将所述控制指令、所述数字人的历史运动骨骼信息和历史运动轨迹输入到预先训练完成的机器学习模型中，通过所述机器学习模型生成用于驱动所述数字人的骨骼运动信息；根据所述骨骼运动信息，驱动所述数字人运动。2.根据权利要求1所述的方法，其中，获取用于驱动数字人的控制指令之前，所述方法还包括：获取至少一个用于驱动数字人的控制信号；将每个控制信号分别解析为至少一个控制指令；将所述至少一个控制信号分别对应的至少一个控制指令进行排序，得到排序结果；相应的，获取用于驱动数字人的控制指令，包括：从所述排序结果中获取当前首个未被执行的控制指令。3.根据权利要求1所述的方法，其中，根据所述控制指令，从多个预设动画片段中确定出与所述控制指令匹配的目标动画片段，包括：根据驱动所述数字人运动的至少一个历史动画片段和所述控制指令，从多个预设动画片段中确定出与所述控制指令匹配、且与所述至少一个历史动画片段衔接的目标动画片段；或者根据所述数字人的历史运动轨迹、驱动所述数字人运动的至少一个历史动画片段、以及所述控制指令，从多个预设动画片段中确定出与所述控制指令匹配、且与所述至少一个历史动画片段衔接的目标动画片段。4.根据权利要求1所述的方法，其中，将所述控制指令、所述数字人的历史运动骨骼信息和历史运动轨迹输入到预先训练完成的机器学习模型中，通过所述机器学习模型生成用于驱动所述数字人的骨骼运动信息，包括：将所述控制指令、所述数字人周围的环境信息、所述数字人的历史运动骨骼信息和历史运动轨迹输入到预先训练完成的机器学习模型中，通过所述机器学习模型生成下一时刻用于驱动所述数字人的骨骼运动信息。5.根据权利要求4所述的方法，其中，所述机器学习模型是根据预设骨骼运动信息、以及与所述预设骨骼运动信息适配的多个差异化环境信息训练得到的。6.根据权利要求4所述的方法，其中，所述数字人周围的环境信息包括如下至少一种：所述数字人经过的预设长度的历史运动轨迹上每个轨迹点的高度信息；所述数字人周围预设范围内的虚拟物体的体素化信息；所述数字人周围动态物体的轨迹信息；所述数字人周围动态物体与所述数字人的接触信息。2CN114998491A权利要求书2/2页7.根据权利要求1所述的方法，其中，所述数字人的历史运动骨骼信息包括如下至少一种：所述数字人的每个骨骼点在所述历史运动轨迹中每个轨迹点上的位置信息、位移信息和旋转信息；所述数字人在所述历史运动轨迹中每个轨迹点上的状态信息。8.一种数字人驱动装置，其中，包括：获取模块，用于获取用于驱动数字人的控制指令；第一确定模块，用于根据所述控制指令，从运动匹配模块和运动控制模块中确定出执行所述控制指令的目标模块；第二确定模块，用于若所述目标模块是所述运动匹配模块，则根据所述控制指令，从多个预设动画片段中确定出与所述控制指令匹配的目标动画片段，并将所