一种基于时序增强模块的视频人体行为识别方法.pdf

(19)中华人民共和国国家知识产权局(12)发明专利申请(10)申请公布号CN112464835A(43)申请公布日2021.03.09(21)申请号202011391904.3(22)申请日2020.12.03(71)申请人北京工商大学地址100048北京市海淀区阜成路33号(72)发明人明少锋蔡强高翠(51)Int.Cl.G06K9/00(2006.01)G06N3/04(2006.01)G06N3/08(2006.01)权利要求书2页说明书5页附图3页(54)发明名称一种基于时序增强模块的视频人体行为识别方法(57)摘要本发明公开了一种基于时序增强模块的人体行为识别方法，目的是提高人体行为识别的准确度。所述方法包括三个方面：(1)针对输入的视频片段进行稀疏采样，以及对提取到的特征进行保留时序信息的池化下采样；(2)构建时序增强模块，对时空特征进行提取激活，同时对时序信息进行增强和交互处理；(3)构建分类器得到行为识别结果。本发明在模型训练的过程中进行时序信息增强和交互处理，增强了视频帧之间的时序信息，为模型的训练提供了丰富的语义信息，增强了模型的鲁棒性和健壮性，由此可以提高人体行为识别的准确度。CN112464835ACN112464835A权利要求书1/2页1.一种基于时序增强模块的视频人体行为识别方法，其特征在于，包括以下步骤：步骤(1)本发明使用了佛罗里达大学发布的人体行为动作基准数据集UCF-101作为实验用的数据集，该数据集包含了101种行为动作和13320个视频片段。步骤(2)对长度为T帧的视频片段进行时间步幅为t的稀疏采样，设置T∶t的比例为8∶1，得到视频序列frames。2步骤(3)构建保留时序信息的池化层Pool1，接着在frames上滑动一个以T×S为卷积核的卷积网络得到时空特征features_1，并将features_1输入到池化层Pool1中，得到时空特征features_2。步骤(4)采用残差网络(ResNet)中的残差思想来设计时序增强模块Temporal_Block。Temporal_Block包含5层卷积层，分别为时间卷积层、空间卷积层、维度调整卷积层、跳跃连接卷积层和通道交互卷积层。将步骤(3)中的features_2输入到16组Temporal_Block中进行特征提取激活，同时对时序信息进行增强处理，以及不对时序信息进行特征下采样，得到富含时序信息的时空特征features_3。步骤(5)对步骤(4)中时空特征features_3进行平均池化采样以及dropout处理，得到特征features_4。步骤(6)将features_4输入到一个长度为N维的全连接层，得到行为预测结果，其中N为需要识别的行为动作种类个数。2.根据权利要求1所述的一种基于时序增强模块的视频人体行为识别方法，其特征在于：所述步骤(2)中，设置视频稀疏采样参数T∶t的比例为8∶1，得到的视频序列既保留了目标的运动信息，同时也在一定程度上减少网络的计算量。3.根据权利要求1所述的一种基于时序模块的视频人体行为识别方法，其特征在于：所述步骤(3)中，保留时序信息的池化层Pool1的构造如下，池化层的尺寸和步长分别表示为{T_size，S_size2}，{T_stride，S_stride2}，其中T_size，S_size分别代表池化层在时间维度和空间维度上的采样范围，T_stride，S_stride分别代表在时间维度和空间维度上的窗22口滑动步幅；Pool1采用最大池化，设置{T_size，S_size}和{T_stride，S_stride}分别为{1，S_size2}，{1，S_stride2}，表示在时间维度上不进行池化下采样，有利于保留帧与帧之间的时序信息。4.根据权利要求1所述的一种基于时序增强模块的视频人体行为识别方法，其特征在于：所述步骤(4)中，时序增强模块Temporal_Block的具体构造如下：对于尺寸为{T，S2}的卷积核，其中T、S分别代表卷积核在时间维度上的尺寸和在空间维度上的尺寸；卷积核的步长表示为{T_stride_1，S_stride_12}，其中T_stride_1、S_stride_1分别代表卷积核在时间维度和空间维度上滑动窗口的步幅。在Temporal_Block中，时间卷积层的卷积尺寸设置为{3×12}，步幅设置为{1，S_stride_12}，有利于密集地提取相邻帧的时序信息；空间卷积层的卷积尺寸设置为{1×32}，步幅设置为{1，S_stride_12}，有利于在进行空间特征提取时保留时序信息；维度调整卷积层的卷积尺寸设置为{1×12}，步幅设置为{1，12}，借助1×1×1卷积核可以保留信息的特性，将特征维度个数C1调整为C2，有利传入下一个Temporal_B