一种基于深度学习的行人徘徊滞留检测方法、系统及介质.pdf

(19)中华人民共和国国家知识产权局(12)发明专利申请(10)申请公布号CN112733814A(43)申请公布日2021.04.30(21)申请号202110336932.3(22)申请日2021.03.30(71)申请人上海闪马智能科技有限公司地址201306上海市浦东新区中国（上海）自由贸易试验区临港新片区环湖西二路888号C楼(72)发明人林亦宁宋庆龙赵之健(74)专利代理机构北京纪凯知识产权代理有限公司11245代理人陆惠中赵旭(51)Int.Cl.G06K9/00(2006.01)G06K9/62(2006.01)G06N3/04(2006.01)G06N3/08(2006.01)权利要求书3页说明书11页附图2页(54)发明名称一种基于深度学习的行人徘徊滞留检测方法、系统及介质(57)摘要本申请提供了一种基于深度学习的行人徘徊滞留检测方法、系统及介质，属于图像识别技术领域，其中方法主要包括三个部分，即行人检测预处理、行人重识别及重识别校验。通过上述三个步骤极大的提高了行人检测的准确性，进而可以保证行人滞留时长检测的准确性，降低了行人徘徊滞留预警的虚警率。CN112733814ACN112733814A权利要求书1/3页1.一种基于深度学习的行人徘徊滞留检测方法，其特征在于：所述方法包括：行人检测模块接收从摄像头传输的检测视频流，采用深度学习模型对所述视频流中的初始图片帧计算出包含人体的最小矩形窗口，并记录该初始图片帧的时刻一；行人质量评估及处理模块采用评估模型对所述矩形窗口的行人图像进行评分，以评估所述矩形窗口中行人模糊程度和完整程度，并将所述评分低于评分阈值的行人对象筛除；跟踪模块采用跟踪算法区分图像帧中不同的行人目标；重识别模块采用卷积网络融合图网络的方法对后续图像帧中的行人进行重识别，基于重识别得出的行人特征查询特征库，以计算该行人之前出现过的置信阈值；重识别校验模块基于步态模型对所述置信阈值高于预设值的所述行人之前出现过的结论进行校验，在校验结果为真时，记录检测该后续图像帧的时刻二；徘徊滞留判断模块基于所述时刻一和时刻二计算每个行人的存在时长，并据此决定是否做出徘徊滞留预警。2.根据权利要求1所述的基于深度学习的行人徘徊滞留检测方法，其特征在于：所述行人检测模块所采用的深度学习模型为YOLOv5。3.根据权利要求1所述的基于深度学习的行人徘徊滞留检测方法，其特征在于：所述跟踪模块采用跟踪算法为匈牙利匹配算法。4.根据权利要求1所述的基于深度学习的行人徘徊滞留检测方法，其特征在于：所述重识别模块采用卷积网络融合图网络的方法对后续图像帧中的行人进行重识别，包括：先使用卷积网络提取后续图像帧中多帧图像帧中的单个行人的外貌特征，将其分别输入第一分支网络和第二分支网络；第一个分支网络融合多帧所述外貌特征为一个第一初始融合特征，第二分支网络先纵向将每一帧的所述外貌特征切分，然后把每一帧的切分后的特征块作为图网络的一个节点，使用图卷积网络融合各块特征得到第二初始融合特征；融合所述第一初始融合特征和所述第二初始融合特征，将特征融合结果作为该行人的行人特征。5.根据权利要求4所述的基于深度学习的行人徘徊滞留检测方法，其特征在于：采用如下方法融合所述第一初始融合特征和所述第二初始融合特征：其中，表示融合后的行人特征矩阵，表示第一初始融合特征矩阵，表示第一初始融合特征矩阵的权重；表示第二初始融合特征矩阵，表示第二初始融合矩阵的权重；分别表示行人的头部特征、上身特征、腰部特征、下身特征、脚部特征矩阵，分别表示头部特征、上身特征、腰部特征、下身特征、脚部特征矩阵的权重。6.根据权利要求1‑5任一项所述的基于深度学习的行人徘徊滞留检测方法，其特征在于：所述基于重识别得出的行人特征查询特征库，以计算该行人之前出现过的置信阈值，包括：将所述重识别得出的行人特征与所述特征库中已有的行人特征逐一采用相似度算法2CN112733814A权利要求书2/3页计算初始置信阈值，并将最高的所述初始置信阈值作为置信阈值，将最高的所述初始置信阈值对应的行人认定为与所述重识别得出的行人为同一行人。7.根据权利要求6所述的基于深度学习的行人徘徊滞留检测方法，其特征在于：重识别校验模块基于步态模型对所述置信阈值高于预设值的所述行人之前出现过的结论进行校验，包括：将所述重识别得出的行人的图片帧序列输入步态模型的第一分支模型和第二分支模型；所述第一个分支模型融合所有输入帧的特征得出该行人步态的整体特征，所述第二个分支模型分别计算每一帧步态的特征，再将特征纵向切块，每个块的特征采取各帧图像中该块相应最大的特征；融合所述整体特征和所述细微特征，并特征融合结果作为该行人的步态特征；采用相似度算法计算所述重识别得出的行人与所述最高的所述初始置信阈值对应的行人的步态特征相