一种动作识别方法及装置、电子设备及存储介质.pdf

(19)中华人民共和国国家知识产权局(12)发明专利申请(10)申请公布号CN113762121A(43)申请公布日2021.12.07(21)申请号202111004385.5(22)申请日2021.08.30(71)申请人北京金山云网络技术有限公司地址100085北京市海淀区西二旗中路33号院4号楼6层006号(72)发明人李森(74)专利代理机构北京华夏泰和知识产权代理有限公司11662代理人曾军(51)Int.Cl.G06K9/00(2006.01)G06K9/46(2006.01)G06K9/62(2006.01)权利要求书2页说明书13页附图3页(54)发明名称一种动作识别方法及装置、电子设备及存储介质(57)摘要本申请涉及一种动作识别方法及装置、电子设备及存储介质。其中，方法包括：获取对目标对象对应的图像序列；对图像序列进行特征提取，得到空间布局特征、瞬态动作特征以及姿势动作特征；对空间布局特征以及瞬态动作特征进行特征融合，得到融合全局特征；根据融合全局特征以及姿势动作特征，得到目标特征量；根据目标特征量得到用于指示图像序列中的目标对象是否发生目标动作的判定结果。本实施例中的动作识别方法，通过对空间布局特征、瞬态动作特征以及姿势动作特征进行多级融合，达到综合全局特征以及局部特征的目标特征量，以通过不同角度的特征进行动作的识别的目的，进而根据目标特征量得到的判定结果可以有效提高动作识别的准确率。CN113762121ACN113762121A权利要求书1/2页1.一种动作识别方法，其特征在于，包括：获取目标对象对应的图像序列，其中，所述图像序列包括对目标对象进行图像采集得到，且按照时序排列的至少两个图像；对所述图像序列进行特征提取，得到空间布局特征、瞬态动作特征以及姿势动作特征，其中，所述空间布局特征为用于指示目标对象发生运动的位置以及所述运动中各个动作发生顺序的全局特征，所述瞬态动作特征为用于指示目标对象在瞬态发生的动作的全局特征，所述姿势动作特征为用于指示目标对象的姿势动作的局部特征；对所述空间布局特征以及瞬态动作特征进行特征融合，得到融合全局特征；根据所述融合全局特征以及所述姿势动作特征，得到目标特征量，其中，所述目标特征量用于将所述图像序列中的所述目标对象的动作分类为目标动作的准确率；根据所述目标特征量得到用于指示所述图像序列中的所述目标对象是否发生所述目标动作的判定结果。2.根据权利要求1所述的方法，其特征在于，所述获取目标对象对应的图像序列，包括：获取对所述目标对象进行视频采集得到的视频数据；根据预设时间间隔对所述视频数据进行图像截取，得到至少两个所述图像；按照各个所述图像在所述视频数据中对应时间点的先后顺序，对各个所述图像进行排列，得到所述图像序列。3.根据权利要求1所述的方法，其特征在于，所述对所述空间布局特征以及瞬态动作特征进行特征融合，得到融合全局特征包括：将所述空间布局特征与所述瞬态动作特征根据预设权重进行线性叠加，得到所述融合全局特征。4.根据权利要求1所述的方法，其特征在于，所述根据所述融合全局特征以及所述姿势动作特征，得到目标特征量包括：将所述融合全局特征输入用于进行目标动作检测的目标分类器，得到第一准确率，其中，所述第一准确率为通过所述融合全局特征将所述目标对象的动作分类为所述目标动作的准确率；将所述姿势动作特征输入所述目标分类器，得到第二准确率，其中，所述第二准确率为通过所述姿势动作特征将所述目标对象的动作分类为所述目标动作的准确率；对所述第一准确率与所述第二准确率进行加权求和，得到所述目标特征量。5.根据权利要求4所述的方法，其特征在于，在所述将所述融合全局特征输入用于进行目标动作检测的目标分类器，得到第一准确率之后，所述方法还包括：在所述第一准确率低于第一预设阈值的情况下，确定所述目标对象未发生所述目标动作；在将所述姿势动作特征输入所述目标分类器，得到第二准确率之后，所述方法还包括：在所述第二准确率低于第二预设阈值的情况下，确定所述目标对象未发生所述目标动作。6.根据权利要求1至5任一项所述的方法，其特征在于，所述根据所述目标特征量得到用于指示所述图像序列中的所述目标对象是否发生所述目标动作的判定结果包括：在所述目标特征量在预设数值区间内的情况下，通过参照图像对所述图像序列进行动2CN113762121A权利要求书2/2页作判定，并得到所述判定结果，其中，所述参照图像中的参照对象的动作为所述目标动作，所述动作判定用于判定所述图像序列中的所述目标对象是否发生所述目标动作。7.根据权利要求6所述的方法，其特征在于，所述通过参照图像对所述图像序列进行动作判定，并得到所述判定结果包括：获取与所述目标动作对应的所述参照图像；根据所述目标动作所需进行特征点提取的目标部位，在所述图像序列的每个