一种基于时序卷积建模的视频动作检测方法.pdf

(19)中华人民共和国国家知识产权局(12)发明专利申请(10)申请公布号CN110688927A(43)申请公布日2020.01.14(21)申请号201910890368.2(22)申请日2019.09.20(71)申请人湖南大学地址410082湖南省长沙市岳麓区麓山南路1号湖南大学(72)发明人张汗灵龙亚艺(51)Int.Cl.G06K9/00(2006.01)G06K9/62(2006.01)权利要求书2页说明书5页附图1页(54)发明名称一种基于时序卷积建模的视频动作检测方法(57)摘要本发明提出一种基于时序卷积建模的视频动作检测方法，首先采用动作提案生成技术产生尽可能包含完整动作的提案片段；其次使用非极大值抑制配合加权IoU筛选出完整且重叠度高的提案，随后对提案进行稀疏采样得到指定数量的视频帧；采用深度网络模型提取视频帧的时空特征；然后对得到的帧级时空特征按演化模式划分成三个阶段，随后使用时序卷积对每个阶段的特征分别进行时序建模。最后使用分类器和回归器来预测动作类别和检测动作发生的时间区间。应用本发明可以克服提案的不完整性，同时最大限度的保留视频流的时序信息，进而更为精确的检测视频中的动作。CN110688927ACN110688927A权利要求书1/2页1.一种基于时序卷积建模的视频动作检测方法，其特征在于，所述方法包括：采用动作提案生成技术产生尽可能包含完整动作的提案片段；使用非极大值抑制配合加权IoU筛选出完整且重叠度高的提案，对提案进行稀疏采样得到指定数量的视频帧；采用深度网络模型提取视频帧的时空特征；对得到的帧级时空特征按演化模式划分成三个阶段，随后使用时序卷积对每个阶段的特征分别进行时序建模。使用分类器和回归器来预测动作类别和检测动作发生的时间区间，进而更为精确的检测视频中的动作。2.如权利要求1所述的方法，其特征在于，使用非极大值抑制算法配合加权IoU筛选出完整且重叠度高的提案，对提案进行稀疏采样得到指定数量的视频帧，包括：计算提案片段的加权IoU并将其作为非极大值抑制算法的搜索元素，执行算法剔除冗余提案片段。可选的，在训练过程中，将加权IoU作为正负样本分配的评价准则，预先设置合适的加权IoU大小作为阈值。根据预设的阈值将提案片段分为正样本集和负样本集。网络输入时，对提案片段进行稀疏采样，同时保证各演化阶段的帧数为预设比例。3.如权利1-2任一项所述的方法，其特征在于，利用以下公式计算每个提案片段与真实动作片段之间的加权IoU值：假设一个未裁剪的视频表示为有Lv帧。每个视频中的真实动作实例表示为这里的Ig代表视频V中真实动作实例的数量，和分别代表真实动作实例的开始时间和结束时间。首先，采用提案生成技术，对视频V生成多尺度的提案集，表示为Ls表示该视频中片段提案的数量。视频中第m个提案片段中的动作实例表示为Ip代表提案中动作实例的个数。首先计算提案片段中的第j个动作实例与该视频所有真实动作实例的时序区间的交集和并集的比值，IoU可以反映二者之间的重叠度。再计算两者的时序区间的交集和真实实例区间的比值，本方法将其称之为IoT，可以表示为它能够反映出动作提案片段的完整性。从而得到加权IoU：IoUw＝IoT*IoU。4.如权利要求1所述的方法，其特征在于，通过深度网络模型提取视频帧的时空特征其中fn为第n帧的一维特征向量。对特征按三个演化阶段进行划分，对各阶2CN110688927A权利要求书2/2页段特征应用一个对应的时序卷积对特征帧之间的时序关系进行建模来构建完整的上下文表征F，具体地：按照各阶段的预设比例将所有特征划分为三个阶段，开始，演化和结束；各阶段特征被输入到时序卷积层从而计算得到各自建模后的特征；将建模后的各阶段特征进行拼接形成完整上下文建模特征F＝{Fp，p＝0,1,2}。5.如权利要求1和4所述的方法，其特征在于，时序卷积建模子模块可表示为：一个时序卷积层可以被简单表示为Conv(lin,cout,k,s)，这里的lin,cout,kands分别代表输入数据长度，输出通道数，卷积核大小以及卷积核步长(stride)。时序卷积后的阶段特征可表示为：W和b表示时序卷积层的权重和偏置(bias)。3CN110688927A说明书1/5页一种基于时序卷积建模的视频动作检测方法技术领域[0001]本发明涉及图像、视频处理技术领域，具体是涉及一种基于时序卷积建模的视频动作检测方法。背景技术[0002]动作检测是近几年视频分析领域中备受关注的研究方向之一，它既要求识别动作类别又要定位出动作在未裁剪、任意长视频中发生的时间区间。[0003]自THUMOS’14挑战赛将时空定位任务切换为时序定位任务以来，近几年动作检测领域取得了快速的进展，然而高精度、高效率的动作检测依旧是视频分析领域的一个大难点。任务的