一种基于图卷积网络的扩展动作识别方法.pdf

(19)国家知识产权局(12)发明专利申请(10)申请公布号CN115937965A(43)申请公布日2023.04.07(21)申请号202210749376.7(22)申请日2022.06.28(71)申请人北京理工大学地址100081北京市海淀区中关村南大街5号(72)发明人王全玉张开翔(51)Int.Cl.G06V40/20(2022.01)G06V10/82(2022.01)G06V10/764(2022.01)G06N3/0464(2023.01)G06N3/08(2023.01)权利要求书1页说明书4页附图2页(54)发明名称一种基于图卷积网络的扩展动作识别方法(57)摘要一种基于图卷积网络的扩展动作识别方法。然而，传统GCN中的静态骨架图拓扑不反映非相邻关节的隐含关系，其中包含动作序列中骨架姿势的重要潜在信息。此外，传统的三分类节点划分策略丢弃了非物理连接边沿时间维度的大部分运动相关性。该方法提出了一个扩展的骨架图拓扑以及扩展的分区策略，以提取模型中的大部分非相邻关节的关系信息。扩展骨架图将关节表示为顶点，加权边分别表示物理连接和非物理连接关节之间的内在和外在关系。此外，扩展分区策略将GCN的输入图划分为五类固定长度张量，以包含最大运动相关性。最后，采用时空图卷积网络(ST‑GCN)实现扩展骨架图和分区策略。此外，该方法还采用关键点信息和骨骼信息作为输入的双分支结构，每个分支网络结构相同。在两个大型数据集NTU‑RGB+D和Kinetics‑Skeleton上进行的实验表明，其性能优于传统的最先进的CN115937965AST‑GCN。CN115937965A权利要求书1/1页1.一种基于图卷积网络的扩展动作识别方法，该方法包括：a.从输入设备中提取实时图像序列的输入模块。b.一个2D姿势估计模块，它接收图像并为图像中的每个人生成2D关节定位。c.扩展的人体骨架图和分区模块。d.空域卷积和时域卷积模块。2.如权利要求1所述的方法，方法内包括：a.输入包含一个或多个人的完整/部分身体姿势的RGB图像序列。b.提取视频序列中的人体关节点信息，并提取骨骼信息。c.根据关节信息头肩扩展的人体骨架图和分区策略。d.结合关节点信息以及骨骼信息获取动作分类。3.一种基于图卷积网络的扩展动作识别方法，该方法包括：a.一种捕获实时单目图像序列的装置。b.接收包含一个或多个人的图像序列。c.非易失性存储器，用于在不执行时保存系统二进制文件。d.在处理过程中保存系统可执行文件、图像序列和深度图的主存储器。e.一种用于执行系统二进制文件以执行方法的计算机处理器，包括：i.处理每个图像以生成一组2D关节定位以及图像中每个人的骨骼信息。ii.处理关节点和骨骼信息并进行动作分类。4.如权利要求2.e所述的方法，扩展人体关节点图的构建，将人体非相邻关节点连接赋值。5.如权利要求2.e所述的方法，扩展分区策略，将人体各关节周围的点分为5类。6.如权利要求2.e所述的方法，计算骨骼的方向角向量、长度以及权重。7.如权利要求2.e所述的方法，关节信息和骨骼信息共同作为输入并将输出结合作为分类结果。2CN115937965A说明书1/4页一种基于图卷积网络的扩展动作识别方法一、技术领域:[0001]本发明涉及动作识别应用领域，提出一种基于图卷积网络的扩展动作识别方法，主要作用于视频动作识别。二、背景技术:[0002]动作识别技术是一种对视频中人类行为进行估计的技术，其根据拍摄的视频或者实时视频，通过手工特征或者深度学习等技术对输入的视频提取出可以代表人体动作的高阶信息，最后通过对高阶信息进行处理分类得到视频中人体动作的分类。[0003]动作识别算法按照输入数据的类型可以分为基于人体骨架序列的动作识别算法和基于视频数据的动作识别算法。基于视频的动作识别早期使用手工设计特征完成识别任务。但是，传统的手工设计的特征无法对视频进行全面建模，从而具有一定的局限性。随着深度学习的发展，人们逐渐将深度学习算法如卷积神经网络(CNN)、循环神经网络(RNN)，应用到视频动作识别中。基于骨架序列的动作识别和基于视频动作识别相比，其只记录了人体关节点的运动轨迹，因此模型更加轻量，同时因为其不会受到背景噪声的影响，具有更好的鲁棒性。基于骨骼序列的动作识别技术输入为连续时间内人体关节点的特征信息。考虑到需要对骨骼序列中的时间序列建模，因此有些研究者使用带有长短期记忆单元(LSTM)的循环神经网络来学习骨架序列的特征。虽然LSTM网络可以学习时间序列的特征，但是它仍然很难记住整个动作序列的信息。同时，构建深度LSTM来提取人体骨架的高维度信息十分困难。与LSTM不同，利用CNN模型可以高效轻松地学习人体骨架序列的高维度信息。但是基于CNN和基于LSTM的方法都不能完全表示骨架