一种基于注意力特征门控的视频异常行为识别方法.pdf

(19)国家知识产权局(12)发明专利申请(10)申请公布号CN115909175A(43)申请公布日2023.04.04(21)申请号202310021223.5(22)申请日2023.01.07(71)申请人西南石油大学地址610500四川省成都市新都区新都大道8号(72)发明人罗仁泽谭亮刘恒林泓宇邓治林余泓李华督(51)Int.Cl.G06V20/40(2022.01)G06V10/774(2022.01)G06V10/82(2022.01)G06V10/80(2022.01)G06N3/0464(2023.01)G06N3/0442(2023.01)G06N3/08(2023.01)权利要求书4页说明书9页附图2页(54)发明名称一种基于注意力特征门控的视频异常行为识别方法(57)摘要本发明公开了一种基于注意力特征门控的视频异常行为识别方法，该方法对多维训练进行特征降维，构建效率更高的识别网络，具体实施方法为：首先从全部数据集中随机提取出连续的视频图片并进行预处理作为训练样本；然后送入本发明提出的网络模型AFG‑NET中进行训练；然后模型对训练样本的帧率维度进信道分离，利用二维卷积对多个信道进行特征提取，然后使用信道特征稀疏化函数对特征进行缩放求和，并与训练样本的全局特征相乘得到输出；然后模型的后续部分对特征进行提取识别，最终得到网络模型的预测结果；最后使用加权稀疏化惩罚和交叉熵损失相结合的联合损失，并使用随机梯度下降对模型的联合损失进行反向传播，优化网络模型的参数，以达到全局最优。CN115909175ACN115909175A权利要求书1/4页1.一种基于注意力特征门控的视频异常行为识别方法，其特征在于包括以下步骤：步骤1、制作训练样本X，具体步骤如下：(1)从数据集中随机选取出n个帧数为f的视频样本X′，f∈(1，64]；X′为c×f个a×b矩阵，a∈(224，1080)；b∈(224，1080)；c为视频图像的通道数量，c∈{1,3}；(2)对n个帧数为f的视频样本X′进行尺寸变换得到变换尺寸视频样本X″，X″为c×f个w×h；w、h为固定值224；然后对X″进行最大最小值归一化处理得到归一化视频样本X″′，X″′为c×f个w×h矩阵；计算公式如下：式中x″′wh代表矩阵X″′中的单个元素，x″′wh∈(‑1，1)；x″wh代表矩阵X″′中的单个元素，x″wh∈(0，255)；xmin代表归一化的最小值，xmin＝‑1；xmax代表归一化的最大值，xmax＝1；(3)最后将n个归一化视频样本X″′组成一个集合X作为训练样本，X＝{X″′1，X″′2，X″′3，…，X″′n}；训练样本X为n×c×f个w×h矩阵；n为训练样本X中归一化视频样本X″′的数量，n∈N；步骤2、构建AFG‑NET网络模型，将训练样本X送入AFG‑NET网络模型中进行训练，并得到模型识别结果Y，具体步骤如下：(1)构建视频异常行为识别模型AFG‑NET，AFG‑NET由AFG、miniMSFP、Inception和二维卷积构成，计算公式如下所示：AFG‑NET(X)＝Inception(miniMSFP(Inception(Conv3×3(Conv1×1(Conv7×7(AFG(X)))))))式中，Conv1×1(·)代表1×1卷积，Conv3×3(·)代表3×3卷积，Conv7×7(·)代表7×7卷积，AFG代表注意力特征门控层，AFG由全局池化GAP(·)和多信道特征稀疏化函数sp(·)组成，计算公式如下：AFG(X)＝GAP(X)×sp(X)miniMSFP为小型多尺度融合块，miniMSFP由多尺度的平均池化和1×1卷积组合而成，计算公式如下：式中GAP(·)代表全局池化，Conv1×1(·)代表核为1×1的卷积，N代miniMSFP的尺度数量，N＝3；APk×k(·)代表核为k×k的平均池化，k∈{3，5，7}；Inception代表多尺度特征提取块，Inception由3×3卷积Conv3×3(·)和1×1卷积Conv1×1(·)构成，计算公式如下：Inception(X)＝Concat(Conv1×1(X)，Conv3×3(Conv1×1(X))，Conv3×3(Conv1×1(X)))式中，Concat(X1，X2，X3)代表将特征X1、X2、X3的矩阵特征进行顺序排列得到XCat，X1、X2、X3为n×c×f个w×h矩阵；XCat为n×c×3×f个w×h矩阵；(2)将训练样本X，输入到AFG‑NET网络模型中；(3)AFG‑NET网络模型中的AFG层对训练样本X进行全局特征计算，得到全局池化特征XGAP，全局池化特征XGAP为n×c矩阵，XGAP∈(‑1，1)；计算公式如下：2CN115909175A权利要求书2/4页