一种基于通道-时间特征的行为识别方法.pdf

本发明公开了一种基于通道?时间特征的行为识别方法,该方法构建了一个多模块block用于替换ResNet?50网络第2～第5层中的block。所述多模块block包括通道注意力模块、长期时序模块、短期时序模块。其中,通道注意力模块与SEblock结构相似,通过对特征通道间的相关性进行建模,强化重要的特征,使得网络就可以学习通过全局信息来有选择性的加强包含有用信息的特征并抑制无用特征;长期时序模块参考了STM模块,通过沿时间维度移动特征图来执行有效的时间建模,实现跨时域的信息交互;短期时序模块通过计算特征级的帧差信息,实现对局部运动信息的表征,增强对运动信息敏感特征。