一种基于视频监控的电梯异常行为检测方法及系统.pdf

(19)中华人民共和国国家知识产权局(12)发明专利申请(10)申请公布号CN113269111A(43)申请公布日2021.08.17(21)申请号202110621297.3G06K9/62(2006.01)(22)申请日2021.06.03G06N3/04(2006.01)G06N3/08(2006.01)(71)申请人昆山杜克大学地址215300江苏省苏州市昆山市杜克大道8号申请人通力电梯有限公司(72)发明人李明陈欣萌龚绪晨程铭潘悦然邓奇(74)专利代理机构广州帮专高智知识产权代理事务所(特殊普通合伙)44674代理人陆茵(51)Int.Cl.G06K9/00(2006.01)G06K9/46(2006.01)权利要求书3页说明书11页附图4页(54)发明名称一种基于视频监控的电梯异常行为检测方法及系统(57)摘要本发明提出了一种基于视频监控的电梯异常行为检测方法及系统，所述方法包括以下步骤：步骤1，获取关于电梯内已知行为分类的视频数据；步骤2，根据所述视频数据截取视频片段和深度片段，并按照预设比例分别划分为训练集和验证集；步骤3，构建多个网络模型并利用训练集中的视频片段和深度片段进行训练；步骤4，确定各网络模型的最佳迭代次数；步骤5，利用验证集中的视频片段分别计算各模型的准确率和召回率，以确定最优模型；步骤7，利用所述最优模型作为检测模型对电梯内乘客的异常行为进行检测。本发明能够低成本且准确地对电梯内乘客的行为进行预测。CN113269111ACN113269111A权利要求书1/3页1.一种基于视频监控的电梯异常行为检测方法，其特征在于，包括以下步骤：步骤1，获取关于电梯内已知行为分类的视频数据，并对所述视频数据进行预处理；其中，所述行为分类包括异常行为类别和正常行为类别；步骤2，根据所述视频数据截取视频片段和深度片段，并按照预设比例分别划分为训练集和验证集；步骤3，构建多个网络模型并利用训练集中的视频片段和深度片段进行训练；步骤4，训练过程中计算每次迭代后各网络模型的综合损失，根据迭代过程中在验证集上综合损失最低时所对应的迭代次数为各模型的最佳迭代次数，从而确定各网络模型；步骤5，利用验证集中的视频片段分别计算以上训练好的各网络模型的准确率和召回率，以准确率和召回率的均值最大者所对应的网络模型为最优模型；步骤7，实时获取实际场景下关于电梯内的视频片段，利用所述最优模型作为检测模型对电梯内乘客的异常行为进行检测。2.根据权利要求1所述基于视频监控的电梯异常行为检测方法，其特征在于，还包括：步骤6，进行多个电梯背景下多个行为视频的拼接，以合成新的训练视频对所述最优模型进行训练，以确定最终模型；其中，步骤7中以所述最终模型作为检测模型对电梯内乘客的异常行为进行检测。3.根据权利要求1所述基于视频监控的电梯异常行为检测方法，其特征在于，步骤1中，对所述视频数据进行预处理的步骤包括：从视频数据的每一帧中识别并分割出人物形象，然后将所分割出的人物形象按照动作分类保存。4.根据权利要求1所述基于视频监控的电梯异常行为检测方法，其特征在于，步骤3中，所述多个网络模型包括但不限于后期拼接卷积神经网络模型、中期居中拼接卷积神经网络模型和中期左对齐拼接卷积神经网络模型；其中利用训练集中的视频片段和深度片段对后期拼接卷积神经网络模型进行训练的步骤包括：步骤301a，分别构建RGB流模型、伪深度流模型和深度流模型，对RGB流模型的输入归一化，同时对深度流模型和伪深度流模型的输入进行标准化；其中，RGB流模型的输入为视频片段，而深度流模型的输入为深度片段；步骤302a，训练过程中，对伪深度流模型与深度流模型经池化层后得到的特征向量取加权平均，得到最终深度特征向量；步骤303a，将所述深度特征向量与RGB特征向量在特征维度上拼接，输入分类层并得到每一类预测结果的得分后，作出预测并计算分类损失，然后根据计算的分类损失进行下一轮迭代训练。5.根据权利要求1所述基于视频监控的电梯异常行为检测方法，其特征在于，步骤3中，所述多个网络模型包括但不限于后期拼接卷积神经网络模型、中期居中拼接卷积神经网络模型和中期左对齐拼接卷积神经网络模型；其中利用训练集中的视频片段和深度片段对中期居中拼接卷积神经网络模型进行训练的步骤包括：步骤301b，分别构建RGB流模型、伪深度流模型和深度流模型，对RGB流模型的输入归一化，同时对深度流模型和伪深度流模型的输入进行标准化；其中，RGB流模型的输入为视频片段，而深度流模型的输入为深度片段；步骤302b,对伪深度流模型与深度流模型每一模块的输出进行加权平均后，再与RGB流2CN113269111A权利要求书2/3页模型的特征图在特征维度上拼接，作为RGBD流相应模块的输入；步骤303b，在经过RGBD流的池化层和分类层后