基于机器视觉的智慧工地安全监测系统及方法.pdf

(19)国家知识产权局(12)发明专利申请(10)申请公布号CN114677640A(43)申请公布日2022.06.28(21)申请号202210285817.2G16Y40/10(2020.01)(22)申请日2022.03.23G16Y40/50(2020.01)(71)申请人河海大学地址210024江苏省南京市鼓楼区西康路1号(72)发明人陈俊风毛矛谢志浩吕嘉(74)专利代理机构南京苏高专利商标事务所(普通合伙)32204专利代理师李淑静(51)Int.Cl.G06V20/52(2022.01)G06V10/82(2022.01)G06N3/04(2006.01)G06N3/08(2006.01)G16Y10/30(2020.01)权利要求书3页说明书12页附图5页(54)发明名称基于机器视觉的智慧工地安全监测系统及方法(57)摘要本发明公开了一种基于机器视觉的智慧工地安全监测系统及方法，所述系统工地数据收集系统和安全行为监测系统，所述工地数据收集系统利用视频捕获设备采集工地视频数据；所述安全行为监测系统基于输入的视频数据执行工地安全算法，识别出潜在危险；所述安全行为监测系统包括：目标检测模块，用于输入的每帧图像数据提取特征并确定目标的检测框位置；目标跟踪模块，用于对检测框中的目标进行实时跟踪，确定轨迹状态；以及安全检测模块，基于目标检测和目标跟踪算法对工人行为进行分析，判断是否存在未佩戴安全帽、跌倒中的一种或多种情况，安全检测模块还对烟火隐患进行检测。本发明结合机器视觉技术和深度学习算法，提高工地危险违规行为检测能力。CN114677640ACN114677640A权利要求书1/3页1.一种基于机器视觉的智慧工地安全监测系统，其特征在于，包括：工地数据收集系统和安全行为监测系统，所述工地数据收集系统利用视频捕获设备采集工地视频数据；所述安全行为监测系统基于输入的视频数据执行工地安全识别算法，识别出潜在危险；所述安全行为监测系统包括：目标检测模块，通过目标检测算法对输入的每帧图像数据提取特征并确定目标的检测框位置；目标跟踪模块，通过目标跟踪算法对检测框的目标进行实时跟踪，确定轨迹状态；以及安全检测模块，在确定目标为施工工人的情况下，基于目标检测算法和目标跟踪算法对工人进行实时行为分析，判断工人是否存在违规行为，并基于工人存在违规行为的判断进行告警，其中违规行为包括未佩戴安全帽和跌倒中的一种或多种情况，以及在确定目标为烟火的情况下，直接进行告警。2.根据权利要求1所述的基于机器视觉的智慧工地安全监测系统，其特征在于，目标检测模块包括：目标检测单元，使用改进网络结构的YOLOv3目标检测算法对输入的每帧图像提取特征并且得到目标的检测框位置；以及筛选单元，利用深度融合NMS算法对目标检测单元给出的检测框进行筛选，去除重叠的检测框。3.根据权利要求2所述的基于机器视觉的智慧工地安全监测系统，其特征在于，所述目标检测单元中改进的YOLOv3网络结构引入随机池化来对原主干网络Darknet‑53进行下采样操作，所述随机池化过程包括：将原Yolov3主网络Darknet‑53中负责下采样的卷积层替换为一个步长为1的卷积层和一个随机池化层，步长为1的卷积层负责改变输出维度，随机池化层负责下采样。4.根据权利要求2所述的基于机器视觉的智慧工地安全监测系统，其特征在于，所述筛选单元包括：集合建立单元，建立检测框集合M，检测框置信度集合S，检测框中心像素的深度值集合D，最终选取的检测框集合R，并设置交并比阈值T，误差深度阈值a；排序选择单元，以集合S基于分数从高到低将检测框排序，将S最大的检测框从集合M中移动到集合R中，并将M中的删除；交并比比较单元，计算集合M中剩余的检测框与上一步被选中的检测框的交并比值，判断两个重叠的检测框的交并比值U与交并比阈值T之间的大小关系；如果U<T，则保留检测框；如果U≥T，则比较两个检测框中心像素的深度值，判断两个检测框中心像素的深度值之差的绝对值d与深度阈值a之间的大小关系；如果d≥a，则保留检测框；如果d<a，则根据式(1)分别计算两个检测框的像素的平均深度，根据式(2)分别计算两个检测框融合后的深度置信度：其中，是第i个检测框中像素的平均深度，Mi和Ni分别是第i个检测框的宽度和高度，是检测框的像素灰度值之和，Ωp代表检测框像素点的集合，Dj是第j个像素点的灰度值，Ci为第i个检测框最终的置信度结果，Si是第i个检测框的得分；2CN114677640A权利要求书2/3页检测框确定单元，比较融合后的深度置信度C，得分较高者被视为最佳检测框，并仅保留最佳检测框在集合R中；循环控制单元，重复排序选择单元、交并比比较单元、检测框确定单元的操作直到集合M中检测框个数为0，输出集合R，结束循环。5.根据权利要求1