动作识别方法、装置、电子设备和存储介质.pdf

(19)中华人民共和国国家知识产权局(12)发明专利申请(10)申请公布号CN113657209A(43)申请公布日2021.11.16(21)申请号202110871172.6(22)申请日2021.07.30(71)申请人北京百度网讯科技有限公司地址100085北京市海淀区上地十街10号百度大厦2层(72)发明人周德森王健孙昊(74)专利代理机构北京清亦华知识产权代理事务所(普通合伙)11201代理人张梦瑶(51)Int.Cl.G06K9/00(2006.01)权利要求书2页说明书10页附图4页(54)发明名称动作识别方法、装置、电子设备和存储介质(57)摘要本公开提供了一种动作识别方法、装置、电子设备和存储介质，涉及人工智能技术领域，尤其涉及计算机视觉、图像处理、动作识别、视频分析技术领域。具体实现方案为：获取关键点序列，并提取所述关键点序列的第一时空特征；对所述第一时空特征进行不同时间粒度的特征提取，得到每个时间粒度对应的第二时空特征；基于每个所述时间粒度对应的第二时空特征，获取所述关键点序列的目标识别动作。该方法可从关键点序列中提取出不同时间粒度对应的第二时空特征，并基于每个时间粒度对应的第二时空特征，获取关键点序列的目标识别动作。由此，可综合考虑到不同时间粒度对应的第二时空特征对动作识别的影响，有助于提升动作识别性能和精准性。CN113657209ACN113657209A权利要求书1/2页1.一种动作识别方法，包括：获取关键点序列，并提取所述关键点序列的第一时空特征；对所述第一时空特征进行不同时间粒度的特征提取，得到每个时间粒度对应的第二时空特征；基于每个所述时间粒度对应的第二时空特征，获取所述关键点序列的目标识别动作。2.根据权利要求1所述的方法，其中，所述对所述第一时空特征进行不同时间粒度的特征提取，得到每个时间粒度对应的第二时空特征，包括：针对每个所述时间粒度，对所述第一时空特征基于所述时间粒度对应的采样率进行降采样，得到所述时间粒度下的降采样时空特征；基于所述时间粒度下的降采样时空特征，得到所述时间粒度对应的所述第二时空特征。3.根据权利要求2所述的方法，其中，所述基于所述时间粒度下的降采样时空特征，得到所述时间粒度对应的所述第二时空特征，包括：基于任一所述降采样时空特征对应的所述采样率，获取所述任一所述降采样时空特征的特征提取结构；基于所述任一所述降采样时空特征的特征提取结构，对所述任一所述降采样时空特征进行特征提取，获取所述第二时空特征。4.根据权利要求3所述的方法，其中，所述特征提取结构包括统一时空图卷积G3D层，所述G3D层的数量与所述采样率正相关。5.根据权利要求1‑4任一项所述的方法，其中，所述基于每个所述时间粒度对应的第二时空特征，获取所述关键点序列的目标识别动作，包括：获取任一时间粒度对应的所述第二时空特征在每个动作识别类别下的候选识别分数；针对任一动作识别类别，将每个所述时间粒度对应的所述第二时空特征的所述候选识别分数进行加权平均，获取所述关键点序列在所述任一动作识别类别下的目标识别分数；从所述目标识别分数中获取最大目标识别分数，并将所述最大目标识别分数对应的所述动作识别类别确定为所述目标识别动作。6.根据权利要求2‑4任一项所述的方法，其中，所述基于每个所述时间粒度对应的第二时空特征，获取所述关键点序列的目标识别动作之前，包括：根据每个所述时间粒度对应的所述采样率，对多个所述第二时空特征进行特征融合。7.根据权利要求6所述的方法，其中，所述根据每个所述时间粒度对应的所述采样率，对多个所述第二时空特征进行特征融合，包括：将多个所述第二时空特征按照稀疏度从高到低进行排序，其中，所述稀疏度与所述采样率正相关；从排序第一的所述第二时空特征开始，将当前遍历到的所述第二时空特征与相邻的下一个所述第二时空特征进行特征融合，生成融合时空特征，并利用所述融合时空特征更新所述下一个所述第二时空特征，直至排序最后的所述第二时空特征更新结束。8.一种动作识别装置，包括：第一提取模块，用于获取关键点序列，并提取所述关键点序列的第一时空特征；第二提取模块，用于对所述第一时空特征进行不同时间粒度的特征提取，得到每个时2CN113657209A权利要求书2/2页间粒度对应的第二时空特征；获取模块，用于基于每个所述时间粒度对应的第二时空特征，获取所述关键点序列的目标识别动作。9.根据权利要求8所述的装置，其中，所述第二提取模块，包括：降采样单元，用于针对每个所述时间粒度，对所述第一时空特征基于所述时间粒度对应的采样率进行降采样，得到所述时间粒度下的降采样时空特征；获取单元，用于基于所述时间粒度下的降采样时空特征，得到所述时间粒度对应的所述第二时空特征。10.根据权利要求9所述的装置，其中，所述获取单元，还用于：基于任一