动作捕捉方法、装置、电子设备及存储介质.pdf

(19)中华人民共和国国家知识产权局(12)发明专利申请(10)申请公布号CN114078280A(43)申请公布日2022.02.22(21)申请号202010801654.X(22)申请日2020.08.11(71)申请人北京达佳互联信息技术有限公司地址100085北京市海淀区上地西路6号1幢1层101D1-7(72)发明人徐屹(74)专利代理机构广州华进联合专利商标代理有限公司44224代理人仝丽(51)Int.Cl.G06V40/20(2022.01)G06V20/40(2022.01)G06V20/64(2022.01)权利要求书2页说明书13页附图5页(54)发明名称动作捕捉方法、装置、电子设备及存储介质(57)摘要本公开关于一种动作捕捉方法、装置、电子设备及存储介质，所述方法包括：获取全身的姿态估计结果；根据全身的姿态估计结果驱动三维模型；在播放初始全身动作的过程中实时采集细节部位的目标动作视频数据；识别细节部位的目标动作视频数据，得到细节部位的目标姿态估计结果；根据细节部位的目标姿态估计结果以及其他部位的姿态估计结果驱动三维模型，得到三维模型的目标全身动作。该方法一方面基于交互式操作流程，使用户能够将全身的动作捕捉过程拆分成多个部位、多次采集的过程，通过实时预览的方式实现动作同步，从而可以得到高质量的全身动作信息；另一方面，基于纯视觉方法进行动作捕捉，实现了在较低的成本内进行高精度的动作采集。CN114078280ACN114078280A权利要求书1/2页1.一种动作捕捉方法，其特征在于，包括：获取全身的姿态估计结果，所述全身的姿态估计结果包含细节部位的姿态估计结果和除所述细节部位外的其他部位的姿态估计结果，所述细节部位为所述全身中的部分部位；根据所述全身的姿态估计结果驱动三维模型，得到所述三维模型的初始全身动作；在播放所述初始全身动作的过程中实时采集所述细节部位的目标动作视频数据；识别所述细节部位的目标动作视频数据，得到所述细节部位的目标姿态估计结果；根据所述细节部位的目标姿态估计结果以及所述其他部位的姿态估计结果共同驱动所述三维模型，得到所述三维模型的目标全身动作。2.根据权利要求1所述的动作捕捉方法，其特征在于，所述细节部位的数量包括多个；所述在播放所述初始全身动作的过程中实时采集所述细节部位的目标动作视频数据，包括：在播放所述初始全身动作的过程中，单独采集每个细节部位的目标动作视频数据；所述识别所述细节部位的目标动作视频数据，得到所述细节部位的目标姿态估计结果，包括：识别所述每个细节部位的目标动作视频数据，得到所述每个细节部位的目标姿态估计结果。3.根据权利要求2所述的动作捕捉方法，其特征在于，所述根据所述细节部位的目标姿态估计结果以及所述其他部位的姿态估计结果共同驱动所述三维模型，得到所述三维模型的目标全身动作，包括：在每得到一个细节部位的目标姿态估计结果的过程中，实时根据已得到的细节部位的目标姿态估计结果和所述其他部位的姿态估计结果共同驱动所述三维模型，直至得到所有细节部位的目标姿态估计结果；根据所述所有细节部位的目标姿态估计结果和所述其他部位的姿态估计结果共同驱动所述三维模型，得到所述三维模型的目标全身动作。4.根据权利要求1所述的动作捕捉方法，其特征在于，所述获取全身的姿态估计结果，包括：获取预先保存的全身的初始动作视频数据；识别所述预先保存的全身的初始动作视频数据，得到所述全身的姿态估计结果。5.根据权利要求1所述的动作捕捉方法，其特征在于，所述获取全身的姿态估计结果，包括：实时采集所述全身的初始动作视频数据；识别所述实时采集的全身的初始动作视频数据，得到所述全身的姿态估计结果。6.根据权利要求4或5所述的动作捕捉方法，其特征在于，所述得到所述三维模型的目标全身动作之后，还包括：当接收重新采集指令，且所述重新采集指令中包括的部位类别信息为全身时，采集所述全身的更新动作视频数据，其中，所述全身的初始动作视频数据和所述全身的更新动作视频数据通过同一套全身的表演动作得到；识别所述全身的更新动作视频数据，得到所述全身的更新姿态估计结果；根据所述全身的更新姿态估计结果驱动三维模型，得到所述三维模型的更新初始全身2CN114078280A权利要求书2/2页动作。7.根据权利要求1所述的动作捕捉方法，其特征在于，所述得到所述三维模型的目标全身动作之后，还包括：当接收重新采集指令，且所述重新采集指令中包括的部位类别信息为细节部位时，播放所述初始全身动作；在播放所述初始全身动作的过程中实时采集所述细节部位的更新动作视频数据，其中，所述细节部位的更新动作视频数据和所述细节部位的目标动作视频数据通过同一套细节部位的表演动作得到；识别所述细节部位的更新动作视频数据，得到所述细节部位的更新姿态估计结果；根据所述细节部