一种基于超图学习的多视角人体行为识别方法.pdf

(19)国家知识产权局(12)发明专利申请(10)申请公布号CN115830707A(43)申请公布日2023.03.21(21)申请号202211440742.7G06V10/34(2022.01)(22)申请日2022.11.17G06V10/40(2022.01)G06N3/0464(2023.01)(71)申请人北京工业大学G06N3/08(2023.01)地址100124北京市朝阳区平乐园100号北京工业大学(72)发明人马楠汪成梁晔吴祉璇陈小康(74)专利代理机构北京驰纳南熙知识产权代理有限公司11999专利代理师马栋敏(51)Int.Cl.G06V40/20(2022.01)G06V20/40(2022.01)G06V10/82(2022.01)G06V10/774(2022.01)权利要求书2页说明书13页附图5页(54)发明名称一种基于超图学习的多视角人体行为识别方法(57)摘要本发明提供一种基于超图学习的多视角人体行为识别方法，包括从P个视角获取视频数据，还包括以下步骤：对所述视频数据进行预处理；根据关节点信息构建空间超图；根据关节点信息构建时间超图；使用超图神经网络对所述空间超图和所述时间超图进行特征学习；提取超图所表示的高阶信息，进行人体动作的行为识别。本发明通过对相同时刻不同视角下的人体骨骼点构建空间超图，以捕获多个身体骨骼点之间的空间依赖关系；通过对相同视角不同帧下的人体骨骼点构建时间超图，更好地获取特定关节点不同视角下特征之间的时间相关性，从而根据空间超图和时间超图构建的特征进行时空超图神经网络进行学习，最终实现基于超图学习的多视角人体行为识别。CN115830707ACN115830707A权利要求书1/2页1.一种基于超图学习的多视角人体行为识别方法，包括从P个视角获取视频数据，其特征在于，还包括以下步骤：步骤1：对所述视频数据进行预处理；步骤2：根据关节点信息构建空间超图；步骤3：根据关节点信息构建时间超图；步骤4：使用超图神经网络对所述空间超图和所述时间超图进行特征学习；步骤5：提取超图所表示的高阶信息，进行人体动作的行为识别。2.如权利要求1所述的基于超图学习的多视角人体行为识别方法，其特征在于，所述预处理的方法包括将视频数据分割成N帧，通过Openpose提取每一帧的关节点信息，以关节点坐标x和y存储，保存为json文件，根据关节点信息构建空间超图和时间超图。3.如权利要求2所述的基于超图学习的多视角人体行为识别方法，其特征在于，所述空间超图是指以关节点为顶点，将人体分为躯干、左手、右手、左腿、右腿五个部位，同一时刻不同视角中相同部位的关节点用一条超边连接，构建的一个按照肢体构图策略空间超图实现关节点空间信息聚合，其中，表示空间超图的顶点集，εspa表示其超边集，Wspa表示超边集中每个超边的权重，是一个权值矩阵。4.如权利要求3所述的基于超图学习的多视角人体行为识别方法，其特征在于，所述空间超图的构建方法包括以下子步骤：步骤21：将每个空间超图的初始顶点特征初始化为特征矩阵Xn，矩阵的每一行为人体关节点的坐标；步骤22：生成第n个空间超图步骤23：根据顶点集和超边集构造关联矩阵；步骤24：计算第n个空间超图中顶点的度和第n个空间超图中的度其中，表示计算第n个空间超图中顶点度的函数，表示计算第n个空间超图中超边度的函数，表示第p个视角第n帧中第i个关节点，表示第n个空间超图中的第m个超边；步骤25：利用高阶信息对网络进行优化，关联矩阵经过拉普拉斯变换生成了拉普拉斯矩阵5.如权利要求4所述的基于超图学习的多视角人体行为识别方法，其特征在于，所述第n个空间超图的计算公式为其中，表示第n个空间超图的顶点集，表示第n个空间超图的超边集，表示第n个空间超图中每个超边的权重，n＝1,2，…，N。6.如权利要求5所述的基于超图学习的多视角人体行为识别方法，其特征在于，所述步2CN115830707A权利要求书2/2页骤23包括第n个空间超图的关联矩阵表示第n个空间超图的拓扑结构，若顶点存在某一超边中，则矩阵中对应的元素为1，否则为0。7.如权利要求6所述的基于超图学习的多视角人体行为识别方法，其特征在于，每个空间超图的关联矩阵定义为：其中，表示第p个视角第n帧中第i个关节点，表示第n个空间超图中的第m个超边，其中m＝1，2，…，M，M表示一个空间超图中超边的数量。8.如权利要求7所述的基于超图学习的多视角人体行为识别方法，其特征在于，所述步骤24包括计算第n个空间超图中顶点的度计算公式为其中，是超边的权重向量。9.如权利要求8所述的基于超图学习的多视角人体行为识别方法，其特征在于，所述步骤24还包括计算第n个空间超图中超边的度计算公式为：其中，和分别表示第n个空间超图中超边度和顶点度的对角矩阵。10