一种复杂场景下实时视频多人行为识别方法及系统.pdf

(19)中华人民共和国国家知识产权局(12)发明专利申请(10)申请公布号CN113963315A(43)申请公布日2022.01.21(21)申请号202111357367.5(22)申请日2021.11.16(71)申请人重庆邮电大学地址400065重庆市南岸区黄桷垭崇文路2号(72)发明人刘歆陈波钱鹰姜美兰赵义铭吴小倩(74)专利代理机构北京同恒源知识产权代理有限公司11275代理人廖曦(51)Int.Cl.G06V20/52(2022.01)G06V20/40(2022.01)G06N3/04(2006.01)权利要求书2页说明书8页附图1页(54)发明名称一种复杂场景下实时视频多人行为识别方法及系统(57)摘要本发明涉及一种复杂场景下实时视频多人行为识别方法及系统，属于机器视觉技术领域。该方法包括：采集视频数据；建立场景人脸标签库，用于人脸识别模型训练；构建轻量化SlowFast模型用于复杂场景多人行为识别；建立不同人员类别异常行为动作标签库，建立训练行为动作标签库；将训练数据集经过预处理之后，输入到构建的轻量化SlowFast网络中进行训练；利用人脸识别模型和轻量化SlowFast网络模型进行实际场景行为动作检测、识别。本发明通过人脸识别，确定人员类别身份，建立人脸检测框与人员位置定位框的关联关系，对场景中目标人员的行为动作进行检测和识别，以实现在复杂场景中不同类别人员异常行为的监测和预警。CN113963315ACN113963315A权利要求书1/2页1.一种复杂场景下实时视频多人行为识别方法，其特征在于，该方法具体包括以下步骤：S1：利用采集设备捕获场景中人的视频帧；S2：建立场景人脸标签库，对现有人脸识别模型进行训练；S3：构建轻量化SlowFast网络，用于复杂场景多人行为识别；S4：根据不同场景中不同人员类别身份，建立不同人员类别异常行为动作标签库和训练行为动作标签库；S5：将步骤S4中建立的训练行为动作标签库进行预处理，然后输入到构建的轻量化SlowFast网络中进行训练；S6：利用轻量化SlowFast网络训练好的检测模型对实际场景进行行为识别检测：利用人脸识别模型进行身份确认，确定其所属人员类别；采用训练好的轻量化SlowFast网络检测行为动作，并进行人员位置定位；建立人脸检测框与人员位置定位框的关联关系；根据人员类别行为要求，将轻量化SlowFast网络检测到的行为动作与该类人员行为动作标签库进行比对，进一步判断是否存在该类人员不应有的异常行为，并对其异常行为进行警报和处罚。2.根据权利要求1所述的复杂场景下实时视频多人行为识别方法，其特征在于，步骤S3中，构建轻量化SlowFast网络，具体包括：在构建轻量化SlowFast网络时依据3D‑ShuffleNetV2网络结构，对SlowFast的Slow分支3D‑ResNet50主干网络进行替换；替换过程中根据Slow分支低帧频的特点，对输入的视频帧按每16帧进行一次采样，并不对时序维度进行下采样计算，来构建新的Slow分支网络结构；对Fast分支高帧频，低通道能力的特点，对输入的视频帧按每2帧进行一次采样，并不对时序维度进行采样，同时通道数按Slow分支的1/8倍，来构建Fast分支；最后，采用3D卷积操作对Fast分支特征进行尺度转换，再级联到Slow分支中，实现SlowFast的横向连接。3.根据权利要求1所述的复杂场景下实时视频多人行为识别方法，其特征在于，步骤S3中，构建轻量化SlowFast网络，具体包括以下步骤：S31：构建SlowFast的Slow分支，依据3D‑ShuffleNetV2网络结构，对SlowFast的Slow分支3D‑ResNet50主干网络进行替换，替换过程中根据Slow分支低帧频的特性，对输入的视频帧按每16帧进行一次采样，并不对时序维度进行下采样计算，来构建新的Slow分支网络结构；S32：构建SlowFast的Fast分支，依据3D‑ShuffleNetV2网络结构，对SlowFast的Fast分支3D‑ResNet50主干网络进行替换，替换过程中根据Fast分支高帧率、高时间分辨率和低通道能力的特性，对输入的视频帧按每2帧进行一次采样，并不对时序维度进行下采样，同时通道数是slow分支的1/8倍，来构建新的Fast分支网络结构；S33：构建SlowFast的横向连接，在ShuffleNetV2第一阶段到ShuffleNetV2第二阶段和ShuffleNetV2第二阶段到ShuffleNetV2第三阶段过程中，建立从Fast分支流向Slow分支的横向连接；利用3D卷积对Fast分支特征进行尺度转换，将转换后的特征，级联拼接到Slow路径上；S34：在ShuffleNetV2第三阶段之后，利用全局平均池化层