一种基于对抗学习的监控视频异常检测方法及系统.pdf

(19)国家知识产权局(12)发明专利申请(10)申请公布号CN115909144A(43)申请公布日2023.04.04(21)申请号202211381511.3(22)申请日2022.11.04(71)申请人中国电子科技集团公司第十研究所地址610000四川省成都市金牛区茶店子东街48号(72)发明人甘翼郑博元(74)专利代理机构成都九鼎天元知识产权代理有限公司51214专利代理师孙元伟(51)Int.Cl.G06V20/40(2022.01)G06N3/0464(2023.01)G06N3/08(2023.01)G06V10/774(2022.01)G06V10/82(2022.01)权利要求书2页说明书9页附图3页(54)发明名称一种基于对抗学习的监控视频异常检测方法及系统(57)摘要本发明公开了一种基于对抗学习的监控视频异常检测方法及系统，该方法包括两部分，第一部分将实时视频样本帧送到特征提取网络中，将样本的特征与记忆模块中的特征进行相似度比较，对记忆模块中的特征进行更新与读取，第二部分将从记忆模块中读取的特征与特征读取网络得到的特征进行基于通道的拼接，送入解码器得到重构后的图片，通过重构误差，得到判断此视频序列中视频样本帧正常与否的异常分数。本发明通过基于初步特征提取网络、深度特征提取分类网络以及全卷积神经网络构建视频异常帧检测模型，然后应用视频异常帧检测模型，完成视频样本帧正常或异常检测，更好地提取视频样本帧中的特征信息，提高视频异常帧检测模型的适应能力。CN115909144ACN115909144A权利要求书1/2页1.一种基于对抗学习的监控视频异常检测方法，其特征在于，所述方法包括以下步骤：S1：获得按时间顺序排列的视频样本帧，以每一帧视频样本帧为起点，按时序选择k帧视频样本帧构建视频样本帧组，作为预测网络的输入；S2：基于卷积神经网络，以视频样本帧为输入，以与视频样本帧所对应的特征图为输出，构建预测网络；S3：以特征图作为记忆模块网络的输入，以与该特征图同尺度大小的正常样本特征图为记忆模块网络的输出，在无监督的情况下进行端到端的对抗训练；S4：基于预测网络、记忆模块网络构建视频异常帧检测待训练模型，同时基于各视频样本帧的参与训练，以初步特征提取网络至深度特征提取分类网络的应用，通过引入重构，对抗以及记忆损失，构建分类损失模型；S5：基于视频样本帧所构建的视频样本帧组，以及各视频样本帧组分别所对应的标签，以视频样本帧为输入，以视频样本帧组分别所对应的标签为输出，结合分类损失模型，针对视频异常帧检测待训练模型进行训练，获得视频异常帧检测模型；S6：针对每个视频样本帧组中的每一帧视频样本帧，通过判别器模型根据模型重构得到的重构损失判定视频样本帧组中每一帧视频样本帧正常或异常的异常分数，将异常分数大于预设值的视频样本帧判定为异常视频帧，否则为正常视频帧。2.如权利要求1所述的基于对抗学习的监控视频异常检测方法，其特征在于，所述步骤S2中，预测网络为U‑Net编码器。3.如权利要求1所述的基于对抗学习的监控视频异常检测方法，其特征在于，所述步骤S3中，记忆模块网络在训练时采用正常事件样本，在测试时加入异常样本。4.如权利要求1所述的基于对抗学习的监控视频异常检测方法，其特征在于，所述步骤S3中，记忆模块网络包括读取和更新两个操作，当获取一个新的正常样本的特征后，会对记忆模块网络进行读取操作，从中选择和自身最相似的正常样本特征；记忆模块网络会根据新的正常样本特征进行更新。5.如权利要求1所述的基于对抗学习的监控视频异常检测方法，其特征在于，所述步骤S3，包括：针对深度特征提取分类网络的输出，得到的尺寸为H×W×C的特征qt。其中H为特征的高，W为特征的宽，C为通道数；根据记忆模块网络的匹配算法得到匹配概率最大的特征pt，尺寸也为H×W×C；将查询到的特征pt与提取的特征qt进行通道上的拼接得到尺寸为H×W×2C的新特征，以对记忆模块网络进行更新。6.如权利要求1所述的基于对抗学习的监控视频异常检测方法，其特征在于，所述步骤S4，具体包括：将连续t帧正常训练样本X＝{x1,x2,…,xt}送入预测网络；预测网络的编码器提取t帧视频帧的特征qt，预测网络会根据qt与记忆模块中保存的正常样本特征的相似度，从中读取对应的pt与qt拼接得到特征(qt,pt)并更新记忆模块网络；将特征(qt,pt)送给预测网络的解码器，最终得到预测的第t+1帧视频帧将预测损失、记忆损失、对抗损失采用加权的方式得到整体损失函数Loss。2CN115909144A权利要求书2/2页7.如权利要求6所述的基于对抗学习的监控视频异常检测方法，其特征在于，所述整体损失函数Loss的表达式，具体为：Loss＝Lpred+λmLmem+λαLadv其中，λm