动作捕捉方法、装置、电子设备及存储介质.pdf

(19)中华人民共和国国家知识产权局(12)发明专利申请(10)申请公布号CN114078279A(43)申请公布日2022.02.22(21)申请号202010799445.6(22)申请日2020.08.11(71)申请人北京达佳互联信息技术有限公司地址100085北京市海淀区上地西路6号1幢1层101D1-7(72)发明人徐屹(74)专利代理机构广州华进联合专利商标代理有限公司44224代理人谢曲曲(51)Int.Cl.G06V40/20(2022.01)权利要求书2页说明书11页附图6页(54)发明名称动作捕捉方法、装置、电子设备及存储介质(57)摘要本公开关于一种动作捕捉方法、装置、电子设备及存储介质，所述方法包括：通过单目采集设备采集目标对象的全身动作视频数据；通过神经网络模型识别目标对象的全身动作视频数据，得到主体关节运动信息，主体关节包括人体中除手腕关节外的其他关节；接收目标对象上的手持设备输出的手腕关节运动信息，手持设备设置有惯性传感器；对主体关节运动信息和手腕关节运动信息进行对齐处理，得到目标对象的目标动作信息。根据本公开的方案，在采集目标对象的全身动作视频数据的同时，单独通过设置有惯性传感器的手持设备采集手腕关节运动信息，从而可以得到包含精确的手腕关节动作信息的目标动作信息，实现完整的动作捕捉。CN114078279ACN114078279A权利要求书1/2页1.一种动作捕捉方法，其特征在于，包括：通过单目采集设备采集目标对象的全身动作视频数据；通过神经网络模型识别所述目标对象的全身动作视频数据，得到主体关节运动信息，所述主体关节包括人体中除手腕关节外的其他关节；接收所述目标对象上的手持设备输出的手腕关节运动信息，所述手持设备设置有惯性传感器；对所述主体关节运动信息和所述手腕关节运动信息进行对齐处理，得到所述目标对象的目标动作信息。2.根据权利要求1所述的动作捕捉方法，其特征在于，所述对所述主体关节运动信息和所述手腕关节运动信息进行对齐处理，得到所述目标对象的目标动作信息，包括：获取所述全身动作视频数据中的每帧视频图像对应的主体关节运动信息；对于所述全身动作视频数据中的每帧视频图像，获取与所述每帧视频图像在时间上最近的手腕关节运动信息，作为所述每帧视频图像对应的手腕关节运动信息；根据所述每帧视频图像对应的主体关节运动信息和手腕关节运动信息，生成一帧目标动作信息。3.根据权利要求2所述的动作捕捉方法，其特征在于，所述主体关节运动信息包括多个关节的旋转角度，所述手腕关节运动信息包括手腕关节方向；所述根据所述每帧视频图像对应的主体关节运动信息和手腕关节运动信息，生成一帧目标动作信息，包括：获取预先配置的所述多个关节的排序，所述多个关节中包括肘部关节，所述肘部关节的顺序为所述多个关节中的最后一个；按照所述多个关节的排序，根据每个关节的旋转角度依次对所述每个关节进行旋转处理，直至对所述肘部关节进行旋转处理后得到肘部关节方向，作为手臂方向；获取所述手腕关节方向相对所述手臂方向之间的旋转角度，作为所述手腕关节的旋转角度；将所述每帧视频图像对应的所述多个关节的旋转角度和所述手腕关节的旋转角度，作为所述一帧目标动作信息。4.根据权利要求1所述的动作捕捉方法，其特征在于，所述手持设备包括左手手持设备和右手手持设备；所述对所述主体关节运动信息和所述手腕关节运动信息进行对齐处理，得到所述目标对象的目标动作信息，包括：对所述主体关节运动信息、所述左手手持设备对应的手腕关节运动信息以及所述右手手持设备对应的手腕关节运动信息进行对齐处理，得到所述目标对象的目标动作信息。5.根据权利要求1所述的动作捕捉方法，其特征在于，在所述接收所述目标对象上的手持设备输出的手腕关节运动信息之前，还包括：接收所述手持设备发出的校准请求；响应于所述校准请求，对所述手持设备在世界坐标系下的旋转方向进行归零校准，所述世界坐标系为所述单目采集设备的坐标系。6.根据权利要求5所述的动作捕捉方法，其特征在于，所述响应于所述校准请求，对所述手持设备在世界坐标系下的旋转方向进行归零校准，包括：响应于所述校准请求，对所述手持设备的旋转欧拉角进行归零，其中，2CN114078279A权利要求书2/2页在进行归零校准时，所述手持设备垂直指向用于所述单目采集设备，且所述手持设备的屏幕朝向正上方。7.根据权利要求1～6任一项所述的动作捕捉方法，其特征在于，所述惯性传感器为陀螺仪。8.一种动作捕捉装置，其特征在于，包括：采集模块，被配置为执行通过单目采集设备采集目标对象的全身动作视频数据；识别模块，被配置为执行通过神经网络模型识别所述目标对象的全身动作视频数据，得到主体关节运动信息，主体关节包括人体中除手腕关节外的其他关节；接收模块，被配置为执行接收所述目标对象上的手持设备输出的