一种基于图卷积和胶囊神经网络的行为识别方法.pdf

(19)中华人民共和国国家知识产权局(12)发明专利申请(10)申请公布号CN111461063A(43)申请公布日2020.07.28(21)申请号202010332216.3(22)申请日2020.04.24(71)申请人武汉大学地址430072湖北省武汉市武昌区珞珈山武汉大学(72)发明人蔡贤涛王森倪波(74)专利代理机构武汉科皓知识产权代理事务所(特殊普通合伙)42222代理人许莲英(51)Int.Cl.G06K9/00(2006.01)G06N3/04(2006.01)G06N3/08(2006.01)权利要求书6页说明书13页附图2页(54)发明名称一种基于图卷积和胶囊神经网络的行为识别方法(57)摘要本发明提出了一种基于图卷积和胶囊神经网络的行为识别方法。本发明通过人工标记得到每帧人体连续动作图像中人体关节点的空间坐标，进一步构建人体关节点的空间坐标向量；通过多层感知机将空间坐标向量映射为高维度特征向量，并结合动作关联原则构建关节点邻接矩阵；根据空间坐标构建出关节点的速度空间向量，进一步构建出关节点的加速度空间向量；将卷积神经网络用于提取特征，将胶囊神经网络用于动作分类，通过卷积神经网络、胶囊神经网络的串联构建胶囊卷积神经网络；将训练集重复多代训练得到训练好的胶囊卷积神经网络。本发明符合实际运动的特点，特征在图上的传播更加符合实际情况，并能有效的保留特征用于分类，提高模型的识别能力。CN111461063ACN111461063A权利要求书1/6页1.一种基于图卷积和胶囊神经网络行为的识别方法，其特征在于，包括以下步骤：步骤1：采集人体同一动作的多帧人体连续动作图像，通过人工标记得到每帧人体连续动作图像中人体关节点的空间坐标，根据多帧人体连续动作图像中人体关节点的空间坐标构建人体关节点的空间坐标向量；步骤2：通过多层感知机将人体关节点的空间坐标向量映射为人体关节点之间的高维度特征向量，进一步构建人体关节点的高维度特征向量，根据人体关节点的高维度特征向量结合动作关联原则，通过嵌入网络构建关节点邻接矩阵；步骤3：根据人体关节点的空间坐标构建出每帧人体连续动作图像中人体关节点的速度空间向量，进一步构建每帧人体连续动作图像中人体关节点的加速度空间向量；步骤4：将卷积神经网络用于提取特征，将胶囊神经网络用于动作分类，通过卷积神经网络、胶囊神经网络的串联构建胶囊卷积神经网络，根据神经网络训练集以及每个样本对应的动作类型，结合胶囊卷积神经网络损失函数模型训练胶囊卷积神经网络，得到训练后胶囊卷积神经网络；步骤5：重复执行步骤1至步骤4，直至训练集中每个样本数据均通过网络对模型参数完成一次迭代更新，则完成一代训练；步骤6：重复执行步骤5共epoch次，即共训练epoch代，得到训练好的胶囊卷积神经网络。2.根据权利要求1所述的基于图卷积和胶囊神经网络行为的识别方法，其特征在于:步骤1所述每帧人体连续动作图像中人体关节点的坐标根据相机坐标系建立空间三维坐标；步骤1中所述每帧人体连续动作图像中人体关节点的空间坐标为：ct,v＝(xt,v,yt,v,zt,v),t∈[1,T],v∈[1,V]其中，T代表人体连续动作图像的帧数，V代表每帧人体连续动作图像中关节点的数量，ct,v代表第t帧人体连续动作图像中第v个关节点，xt,v代表第t帧人体连续动作图像中第v个关节点的X轴坐标，yt,v代表第t帧人体连续动作图像中第v个关节点的Y轴坐标，zt,v代表第t帧人体连续动作图像中第v个关节点的Z轴坐标；步骤1所述构建人体关节点的空间坐标向量为：ci＝(c1,i,c2,i,...,cT,i),i∈[1,V]ct,i＝(xt,i,yt,i,zt,i),t∈[1,T],i∈[1,V]其中，T代表人体连续动作图像的帧数，V代表每帧人体连续动作图像中关节点的数量，ci第i个人体关节点的空间坐标向量，ct,i第t帧人体连续动作图像中第i个人体关节点的坐标。3.根据权利要求1所述的基于深度学习的非局部滤波器无监督光流估计方法，其特征在于:步骤2所述通过多层感知机将人体关节点的空间坐标向量分别映射为人体关节点之间的高维度特征向量为：其中，为第k次迭代过程中关节点i与关节点j之间的高维度特征向量，V代表每帧人体连续动作图像中关节点的数量，K代表最大迭代次数，代表在第k-1次迭代中关节点2CN111461063A权利要求书2/6页i的高维度特征向量，为第k次迭代过程中处理关节点之间高维度特征向量的多层感知机，初始化为为第k次迭代过程中处理关节点高维度特征向量的多层感知机，ci为第i个人体关节点的空间坐标向量；步骤2所述进一步构建人体关节点的高维度特征向量为：其中，V代表每帧人体连续动作图像中关节点的数量，K代表最大迭代次数，代表在第k次迭代中关节点i的高维度特征向量