一种基于注意力机制的视频行为识别方法.pdf

(19)中华人民共和国国家知识产权局(12)发明专利申请(10)申请公布号CN110287879A(43)申请公布日2019.09.27(21)申请号201910558302.3(22)申请日2019.06.26(71)申请人天津大学地址300072天津市南开区卫津路92号(72)发明人雷建军贾亚龙彭勃宋宇欣杨博兰李鑫宇(74)专利代理机构天津市北洋有限责任专利代理事务所12201代理人李林娟(51)Int.Cl.G06K9/00(2006.01)G06N3/04(2006.01)权利要求书1页说明书5页附图2页(54)发明名称一种基于注意力机制的视频行为识别方法(57)摘要本发明公开了一种基于注意力机制的视频行为识别方法，所述方法包括以下步骤：通过卷积神经网络从视频样本中提取所需的帧级特征表达；对视频张量进行空域全局平均处理，融合特征中的空域信息，以获取不同帧的通道级特征表达作为待优化特征，并将其聚合为视频级特征表达，加强注意力得分提取过程中的帧间信息交互；利用本发明提出的通道级时域注意力提取方法，为视频帧级表达中每一个通道都计算出描述其重要程度的分值，同时对视频中不同帧特征和帧级特征中不同通道进行重要程度的区分，突出不同通道上的关键信息；使用加权求和的方式，优化视频级特征表达。本方法通过对帧级特征表达中不同通道的重要程度进行细粒度区分，从而更充分地保留视频特征表达中的关键信息，以实现对视频特征表达的进一步优化。CN110287879ACN110287879A权利要求书1/1页1.一种基于注意力机制的视频行为识别方法，其特征在于，所述方法包括以下步骤：采样视频帧，通过卷积神经网络从视频样本中提取所需的帧级特征表达；对视频张量进行空域全局平均处理，融合特征中的空域信息，以获取不同帧的通道级特征表达，该通道级特征表达作为待优化特征；将该通道级特征表达聚合为视频级特征表达，该视频级特征表达将用于注意力得分的提取，加强帧间信息交互；利用通道级时域注意力提取，计算出与所提取的帧级特征表达相对应的通道级时域注意力得分，该分值能够比较不同帧对于识别视频内目标行为的重要程度，同时能对单一帧内的不同通道进行重要程度的区分，突出不同通道上的关键信息；将所获得的注意力得分作为权重系数，使用加权求和，将帧级特征表达融合为视频级特征表达，实现特征表达的优化。2.根据权利要求1所述的一种基于注意力机制的视频行为识别方法，其特征在于，所述将通道级特征表达聚合为视频级特征表达具体为：其中，[·]表示沿通道的特征级联操作，该过程将不同帧的特征表达聚合成完整的视频特征表达，为第i个视频中所采样第T帧的通道级特征表达。3.根据权利要求1所述的一种基于注意力机制的视频行为识别方法，其特征在于，所述通道级时域注意力提取具体为：其中，表示第一个全连接层的权重与偏置，表示第二个全连接层的权重与偏置，σ(·)表示ReLU激活函数；输出表示帧级特征表达的注意力得分，表示帧级特征表达中第c通道的注意力得分。4.根据权利要求3所述的一种基于注意力机制的视频行为识别方法，其特征在于，所述方法还包括：使用softmax函数对注意力得分进行归一化处理，该处理沿时域进行，各通道间相互独立。2CN110287879A说明书1/5页一种基于注意力机制的视频行为识别方法技术领域[0001]本发明涉及深度学习、模式识别领域，尤其涉及一种基于注意力机制的视频行为识别方法。背景技术[0002]近年来，随着信息技术以及多媒体技术的发展，网络中视频数量呈指数爆炸趋势增加，如何使计算机智能、高效、准确地理解视频内容成为研究热点。视频行为识别旨在使计算机准确理解视频内容，并依据视频内容对视频进行类别划分，目前已成为计算机视觉与模式识别领域的热门课题之一。视频行为识别方法通过将原始视频数据映射到特征空间以获取视频的特征表达，依据该特征表达实现对视频中行为模式的准确分类。因此，如何提取到能够准确表示视频内容的特征表达，尤其是能够准确描述视频中行为模式的特征表达，是视频行为识别任务需要解决的关键问题。[0003]注意力机制是人类视觉所特有的大脑信号处理机制，其使得人们可以快速地获取场景中的关键信息。为了使计算机在理解视频内容时更关注行为相关的关键信息，研究人员将注意力机制引入到了视频行为识别任务中。注意力机制通过提取特征表达中各部分的注意力得分，并将其作为融合权重，实现对原始特征的优化。经过注意力机制优化后的特征表达，能够有效地突出原始数据中的重要成分，从而使其更适应对应任务的要求。[0004]现有的应用于视频行为识别方法中的注意力机制主要包括：空域注意力机制和时域注意力机制。其中，空域注意力机制用于区分每一帧中不同位置的重要程度，时域注意力机制用于区分不同帧的重要程度。Du等人在特征提取中同时考虑了空域注意力