动作捕捉方法、装置、电子设备和存储介质.pdf

(19)中华人民共和国国家知识产权局(12)发明专利申请(10)申请公布号CN113761965A(43)申请公布日2021.12.07(21)申请号202010484790.0(22)申请日2020.06.01(71)申请人北京达佳互联信息技术有限公司地址100085北京市海淀区上地西路6号1幢1层101D1-7(72)发明人赵培尧曹炎培(74)专利代理机构北京同达信恒知识产权代理有限公司11291代理人王英(51)Int.Cl.G06K9/00(2006.01)权利要求书2页说明书15页附图4页(54)发明名称动作捕捉方法、装置、电子设备和存储介质(57)摘要本公开提供动作捕捉方法、装置、电子设备和存储介质。包括：对视频中的当前帧目标图像进行目标检测，获取当前帧目标图像中目标对象的图像区域；从当前帧目标图像中裁剪出所述图像区域；对图像区域进行三维姿态识别，得到目标对象的三维关键点；将三维关键点投射到图像坐标系，得到各关键点的二维位置坐标；根据各关键点的二维位置坐标，确定出目标对象在下一帧目标图像中的图像区域；对目标对象在下一帧目标图像中的图像区域进行三维姿态识别，得到目标对象在所述下一帧目标图像中的三维关键点。整个过程用于识别三维姿态的每个图像区域，采用处理复杂度小的方案来估计下一个图像区域。由此，减少了算法计算量，降低了服务器的计算开销。CN113761965ACN113761965A权利要求书1/2页1.一种动作捕捉方法，其特征在于，所述方法包括：对视频中的当前帧目标图像进行目标检测，获取所述当前帧目标图像中的目标对象的图像区域；从所述当前帧目标图像中裁剪出所述目标对象的所述图像区域；利用三维姿态估计网络对所述目标对象的所述图像区域进行三维姿态识别，得到所述目标对象的三维关键点；将所述三维关键点投射到图像坐标系，得到所述目标对象的各关键点的二维位置坐标；根据所述各关键点的二维位置坐标，确定出所述目标对象在下一帧目标图像中的图像区域；利用所述三维姿态估计网络对所述目标对象在所述下一帧目标图像中的图像区域进行三维姿态识别，得到所述目标对象在所述下一帧目标图像中的三维关键点。2.根据权利要求1所述的方法，其特征在于，所述利用所述三维姿态估计网络对所述目标对象在所述下一帧目标图像中的图像区域进行三维姿态识别之后，所述方法还包括：针对从所述下一帧目标图像开始的任意相邻的两帧目标图像，执行：将所述相邻的两帧目标图像中排序在前的一帧目标图像的三维关键点投射到图像坐标系，得到所述目标对象的各关键点的二维位置坐标；根据所述各关键点的二维位置坐标，确定出所述目标对象在下一帧目标图像中的图像区域。3.根据权利要求1或2所述的方法，其特征在于，所述根据所述各关键点的二维位置坐标，确定出所述目标对象在下一帧目标图像中的图像区域，包括：筛选出所述各关键点的二维位置坐标的横坐标的最大值与最小值，并筛选出所述各关键点的二维位置坐标的纵坐标的最大值与最小值；将所述横坐标的最大值与最小值的差值作为所述图像区域的初始宽度，并将所述纵坐标的最大值和最小值作为所述图像区域的初始高度；若所述图像区域为矩形区域，则将所述初始宽度和所述初始高度分别进行放大或缩小得到所述目标对象在下一帧目标图像中的图像区域；若所述图像区域为正方形区域，则将所述初始宽度和所述初始高度中的最大值分别进行放大或缩小得到所述目标对象在下一帧目标图像中的图像区域。4.根据权利要求1所述的方法，其特征在于，所述对视频中的当前帧目标图像进行目标检测之前，所述方法还包括：根据以下方法确定需要进行目标检测的所述当前帧目标图像：确定对一帧目标图像进行所述三维姿态识别所需的时长；根据所述视频的帧率确定所述时长内包括的总帧数；从指定帧开始，以所述总帧数的指定倍数作为采样间隔，对所述视频进行采样，采样到的每帧图像均作为进行所述目标检测的当前帧目标图像。5.根据权利要求2所述的方法，其特征在于，所述根据所述各关键点的二维位置坐标，确定出所述目标对象在下一帧目标图像中的图像区域之后，所述方法还包括：当所述目标对象在下一帧目标图像中的图像区域的大小不符合检测条件时，则确定所2CN113761965A权利要求书2/2页述下一帧目标图像为用于进行目标检测的所述当前帧目标图像。6.根据权利要求1或2所述的方法，其特征在于，所述目标对象的三维关键点的表达中包括关节旋转参数θt、用于表示体型的体态系数βt、大小参数st以及所述目标对象在相应的图像区域中的位置偏移参数所述将所述三维关键点投射到图像坐标系，得到所述目标对象的各关键点的二维位置坐标，包括：根据所述关节旋转参数θt和所述用于表示体型的体态系数βt得到各三维关键点的三维位置坐标；根据所述各关键点的三维位置坐标，使用弱投影方法确定出所述各关键点在所述图像区域中的投影坐标