一种基于图卷积神经网络的人体行为识别方法.pdf

(19)中华人民共和国国家知识产权局(12)发明专利申请(10)申请公布号CN111709321A(43)申请公布日2020.09.25(21)申请号202010470852.2(22)申请日2020.05.28(71)申请人西安交通大学地址710049陕西省西安市咸宁西路28号(72)发明人田智强产文颂郑帅杜少毅兰旭光(74)专利代理机构西安通大专利代理有限责任公司61200代理人贺小停(51)Int.Cl.G06K9/00(2006.01)G06K9/62(2006.01)G06N3/04(2006.01)G06N3/08(2006.01)权利要求书2页说明书5页附图4页(54)发明名称一种基于图卷积神经网络的人体行为识别方法(57)摘要本发明公开了一种基于图卷积神经网络的人体行为识别方法，本发明使用图卷积神经网络进行人体行为识别技术，从而更好的捕捉骨骼点之间的显式关系；在具体的图卷积操作中，使用行为特异图卷积模块，使得模型也可以更好的捕捉骨骼点之间的隐式关系，以捕捉其中的重要信息；为了捕捉时序信息，本技术采用门控时序一维卷积操作，过滤掉冗余及无关信息，保留其中的有用信息，以更好的建模动作的时序信息；在图卷积操作和一维卷积操作之后，均加入通道注意力模块，以建立通道维度的卷积，为不同的通道分配不同的权值，实现通道维度的注意力机制；通过行为门控特异图卷积模块的级联，以更好的提取数据中的信息，以达到较高的识别准确率。CN111709321ACN111709321A权利要求书1/2页1.一种基于图卷积神经网络的人体行为识别方法，其特征在于，包括以下步骤：步骤一，将采集到的视频数据拆分为图片帧；步骤二，提取每帧图片中的人体姿态，形成人体骨骼点二维或者三维坐标数据；步骤三，将所需时长的图片帧中的骨骼点坐标数据按照时间顺序叠加到一起，形成骨骼点坐标序列数据；步骤四，骨骼点坐标序列数据使用图结构来表示，图结构包括邻接矩阵和特征矩阵，邻接矩阵包括人体关节自然连接方式，征矩阵则包含每个骨骼点的坐标信息；步骤五，将邻接矩阵和特征矩阵输入到行为特异图卷积模块中，行为特异图卷积模块依照当前的特征数据对不同的动作序列生成行为特异邻接矩阵，并且将行为特异邻接矩阵与步骤四生成的邻接矩阵按照设定的比例相加，得到更新以后的邻接矩阵；步骤六，使用门控时序一维卷积处理更新以后的邻接矩阵的时序信息，去除时序上的无用信息和冗余信息，保留其中有价值的信息；步骤七，使用插入通道注意力模块的多层特异图卷积模块和门控时序卷积模块，并将最后得到的特征矩阵输入到全连接层，得到类别概率向量；步骤八，使用大量标记的骨骼点序列数据对类别概率向量进行训练，训练过程中，使用反向传播策略优化网络的参数，使用损失函数帮助训练，根据损失函数的值，更新网络参数，使得损失函数不断下降直到收敛至较小的值，此时训练结束，保存训练好的网络模型；步骤九，使用保存的训练好的模型构成人体行为识别模型。2.根据权利要求1所述的一种基于图卷积神经网络的人体行为识别方法，其特征在于，步骤二中，使用OpenPose工具对单帧图片进行处理，提取出图片中的人体姿态信息，形成人体的关键骨骼点的坐标信息。3.根据权利要求1所述的一种基于图卷积神经网络的人体行为识别方法，其特征在于，步骤四中，图结构的表示公式为：其中表示人体骨骼点，ε表示人体骨架；使用特征矩阵表示人体骨骼点信息，使用邻接矩阵表示人体骨架，其中N表示人体骨骼点的个数，F表示每个人体骨骼点的特征数量；邻接矩阵的构造规则为：若人体骨骼点i与人体骨骼点j相连，则Aij＝1，否则Aij＝0。4.根据权利要求1所述的一种基于图卷积神经网络的人体行为识别方法，其特征在于，步骤五中，行为特异邻接矩阵的计算公式为：其中M(l)为图卷积中第l层行为特异邻接矩阵，该邻接矩阵将会在图卷积中作为输入使用，为隐含关系邻接矩阵，由输入计算得到，为偏置矩阵，由训练得到，λ(l)为加2CN111709321A权利要求书2/2页(l-1)权权重，由输入计算得到，μ是设定的超参数，H为l-1层的输出，和Wφ为可学习的权重，在训练过程中更新，A为邻接矩阵，i和j为人体骨骼点，V为图中节点的总数，Tl为第l层的时间维度；进行特征聚类的行为特异图卷积操作的计算公式为：其为可学习的权重矩阵，在训练过程中不断更新值，σ为激活函数，且H0＝X。5.根据权利要求1所述的一种基于图卷积神经网络的人体行为识别方法，其特征在于，步骤六中，门控时序一维卷积的计算公式为：其中G为经过门控时序一维卷积得到特征，其中H为输入特征，W1和W2均为一维卷积的卷积核，b1和b2均为偏置，卷积核和偏置的参数均在训练中更新学习。6.根据权利要求1所述的一种基于图卷积神经网络的人体行为识别方法，其特征在于，步骤七中，通道注意力模块为通道