虚拟对象的运动控制方法以及装置.pdf

(19)国家知识产权局(12)发明专利申请(10)申请公布号CN115841534A(43)申请公布日2023.03.24(21)申请号202211330305.XG06N3/084(2023.01)(22)申请日2022.10.27(71)申请人阿里巴巴（中国）有限公司地址311121浙江省杭州市余杭区五常街道文一西路969号3幢5层554室(72)发明人王雨桐黄明杨马菲莹(74)专利代理机构北京智信禾专利代理有限公司11637专利代理师金鹏(51)Int.Cl.G06T13/40(2011.01)G06V40/20(2022.01)G06V10/82(2022.01)G06V10/766(2022.01)G06N3/0464(2023.01)权利要求书3页说明书22页附图6页(54)发明名称虚拟对象的运动控制方法以及装置(57)摘要本说明书实施例提供虚拟对象的运动控制方法以及装置，其中所述虚拟对象的运动控制方法包括：获取目标对象的图像序列；对多个图像进行关键点检测，确定图像序列中目标对象的二维结构信息；根据多个运动关键点的关键点信息，确定各图像中目标对象的关键点运动向量和关键点偏转角；针对任一图像，根据该图像中的关键点运动向量和关键点偏转角，确定该图像中目标对象的三维运动姿态信息；根据二维结构信息和多个图像中的三维运动姿态信息，确定目标运动序列，并根据目标运动序列，对目标对象对应的虚拟对象进行运动控制。通过确定关键点运动向量和关键点偏转角，保证目标运动序列满足动力学，提高了运动控制的真实性与自然性，可以用于虚拟人交互。CN115841534ACN115841534A权利要求书1/3页1.一种虚拟对象的运动控制方法，包括：获取目标对象的图像序列，其中，所述图像序列包括多个图像；对所述多个图像进行关键点检测，确定所述图像序列中所述目标对象的二维结构信息，其中，所述二维结构信息包括所述目标对象的多个运动关键点；根据所述多个运动关键点的关键点信息，确定各所述图像中所述目标对象的关键点运动向量和关键点偏转角，其中，所述关键点运动向量表征相邻两个运动关键点之间的运动距离及运动方向；针对任一图像，根据该图像中的所述关键点运动向量和所述关键点偏转角，确定该图像中所述目标对象的三维运动姿态信息；根据所述二维结构信息和所述多个图像中的所述三维运动姿态信息，确定目标运动序列，并根据所述目标运动序列，对所述目标对象对应的虚拟对象进行运动控制。2.根据权利要求1所述的方法，所述对所述多个图像进行关键点检测，确定所述图像序列中所述目标对象的二维结构信息的步骤，包括：分别将所述多个图像输入关键点检测模型中，经所述关键点检测模型的检测，确定所述图像序列中所述目标对象的二维结构信息，其中，所述关键点检测模型为机器学习模型。3.根据权利要求2所述的方法，所述关键点检测模型的训练方式，包括：获取第一样本集，其中，所述第一样本集中包括多个样本图像，每个样本图像中携带样本对象的二维结构标签；对所述多个样本图像进行对象检测，根据检测结果对所述多个样本图像进行剪裁，获得多个剪裁样本图像，其中，所述样本图像和所述剪裁样本图像是一一对应的；对所述多个剪裁样本图像进行偏移处理，确定各剪裁样本图像对应的至少一个偏移样本图像；根据所述多个剪裁样本图像、所述各剪裁样本图像对应的至少一个偏移样本图像和所述多个样本图像携带的二维结构标签，对初始检测模型进行训练，获得关键点检测模型。4.根据权利要求3所述的方法，所述根据所述多个剪裁样本图像、所述各剪裁样本图像对应的至少一个偏移样本图像和所述多个样本图像携带的二维结构标签，对初始检测模型进行训练，获得关键点检测模型的步骤，包括：从所述多个剪裁样本图像中提取第一剪裁样本图像，并从所述第一剪裁样本图像对应的至少一个偏移样本图像中提取第一偏移样本图像，其中，所述第一剪裁样本图像为所述多个剪裁样本图像中的任一个，所述第一偏移样本图像为所述至少一个偏移样本图像中的任一个；将所述第一剪裁样本图像输入所述初始检测模型中，确定第一预测二维结构信息，将所述第一偏移样本图像输入所述初始检测模型中，确定第二预测二维结构信息；确定所述第一剪裁样本图像对应的第一样本图像，并提取所述第一样本图像携带的第一二维结构标签；对比所述第一预测二维结构信息和所述第一二维结构标签，计算第一结构损失值；对比所述第二预测二维结构信息和所述第一二维结构标签，计算第二结构损失值；对比所述第一预测二维结构信息和所述第二预测二维结构信息，计算第三结构损失值；2CN115841534A权利要求书2/3页根据所述第一结构损失值、所述第二结构损失值和所述第三结构损失值，调整所述初始检测模型的模型参数，并返回执行所述从所述多个剪裁样本图像中提取第一剪裁样本图像的步骤，在达到第一预设停止条件的情况