基于时空注意力的人体行为识别方法.pdf

(19)中华人民共和国国家知识产权局(12)发明专利申请(10)申请公布号CN110059587A(43)申请公布日2019.07.26(21)申请号201910250775.7(22)申请日2019.03.29(71)申请人西安交通大学地址710049陕西省西安市咸宁西路28号(72)发明人田智强产文颂郑帅杜少毅兰旭光(74)专利代理机构西安通大专利代理有限责任公司61200代理人徐文权(51)Int.Cl.G06K9/00(2006.01)G06N3/04(2006.01)G06N3/08(2006.01)权利要求书2页说明书5页附图2页(54)发明名称基于时空注意力的人体行为识别方法(57)摘要本发明公开了一种基于时空注意力的人体行为识别方法，本发明使用卷积神经网络提取图片特征，从而得到特征向量作为长短期记忆网络的输入，比直接输入图片更具有优势；使用长短期记忆网络较好的保留和处理了视频中的时序信息；使用时空注意力机制，使得模型可以关注空间上比较重要的点和时间上比较重要的序列，从而提高了识别的效率和准确率。CN110059587ACN110059587A权利要求书1/2页1.基于时空注意力的人体行为识别方法，其特征在于，包括以下步骤：步骤一，将输入的视频拆分成图像帧，并均匀的抽取所需数量的图片；步骤二，采用完成的卷积神经网络对抽取的图片进行特征提取，从而得到对应的特征向量；步骤三，利用提取特征向量作为输入，使用前向感知机计算每张图片对应的空间注意力权重；步骤四，使用空间注意力权重对图片特征向量进行加权得到加权特征向量；步骤五，将加权特征向量输入到长短期记忆网络中，通过长短期记忆网络中的前向传播，计算得到输出的类别概率向量；使用每个图片的特征向量和对应长短期记忆网络隐藏层的输出计算得到对应的空间注意力权重；步骤六，使用空间注意力权重对每张图片的类别概率向量进行加权求和，得到一个类别概率向量；步骤七，使用若干已标记的视频数据对模型进行训练；训练过程中使用反向传播，当损失较大时，不断更新模型参数，直到损失收敛到较小的值，保存为模型；取类别概率向量中的最大值对应的类别作为最终的类别并输出，作为模型参数；步骤八，将保存的模型和模型参数相结合，构成人体行为识别模型。2.根据权利要求1所述的基于时空注意力的人体行为识别方法，其特征在于，步骤二中，卷积神经网络采用在ImageNet上训练完成的VGG19卷积神经网络，用于进行图片分类的网络，将图片作为网络的输入，并取其还未全连接的特征向量。3.根据权利要求1所述的基于时空注意力的人体行为识别方法，其特征在于，步骤三中，空间注意力权重的计算公式为：其中et为中间计算结果，lt,i为第t个图片第i个区域的空间注意力权重值，和为权重参数，在训练中得到，Xt为第t张图片对应的特征向量,ht-1为第t-1张图片对应的隐藏层的输出，K2为每个图片被分成的区域数目，b为偏置。4.根据权利要求1所述的基于时空注意力的人体行为识别方法，其特征在于，步骤五中，长短期记忆网络采用两层长短期记忆网络作为主网络，其计算公式为：其中Yt为第t个时间步长短期记忆网络的输入，xt,i为第t张图片对应特征向量的第i个区域的特征。5.根据权利要求1所述的基于时空注意力的人体行为识别方法，其特征在于，步骤五中，长短期记忆网络的输入通过时间注意力权重进行加权得到单个的类别概率向量，其计算公式为：2CN110059587A权利要求书2/2页其中o为输出的类别向量，tanh为激活函数；选取类别概率向量中概率最大值对应的类别作为预测的输出结果；时间注意力权重的计算公式为：βt＝ReLU(Wout(WXXt+Whht-1+b))其中βt为第t张图片的空间注意力权重，ReLU为线性激活函数，Wout、WX和Wh均为权重参数，在训练中获取，Xt为第t张图片对应的特征向量，ht-1为第t-1张图片对应的隐藏层的输出，b为偏置。6.根据权利要求1所述的基于时空注意力的人体行为识别方法，其特征在于，长短期记忆网络对隐藏层进行初始化，其计算公式为：其中finit,h为前向感知机。7.根据权利要求1所述的基于时空注意力的人体行为识别方法，其特征在于，长短期记忆网络的第一个时间步隐藏层输入的细胞状态c0的初始化计算公式为：其中finit,c为前向感知机。8.根据权利要求1所述的基于时空注意力的人体行为识别方法，其特征在于，步骤七中，训练过程中使用损失函数，并在损失反向传播之时进行参数的调整，损失函数计算公式为：其中C为类别的总数，yi为真实标签，为属于第i类的概率，T为输入总的图片个数，λ1空间注意力惩罚系数，λ2时间注意力惩罚系数。3CN110059587A说明书1/5页基于时空注意力的人体行为识别方法技术领域[0001]本发明属于计算机视觉、视频分