一种基于计算机视觉的缺失路障检测方法、装置和存储介质.pdf

(19)中华人民共和国国家知识产权局(12)发明专利申请(10)申请公布号CN114170564A(43)申请公布日2022.03.11(21)申请号202111318129.3(22)申请日2021.11.09(71)申请人广州大学地址510006广东省广州市大学城外环西路230号(72)发明人蔡长青刘爽(74)专利代理机构广州嘉权专利商标事务所有限公司44205代理人余凯欢(51)Int.Cl.G06V20/52(2022.01)G06V20/40(2022.01)G06V10/82(2022.01)G06N3/04(2006.01)G06N3/08(2006.01)权利要求书2页说明书7页附图4页(54)发明名称一种基于计算机视觉的缺失路障检测方法、装置和存储介质(57)摘要本发明公开了一种基于计算机视觉的缺失路障检测方法，包括以下步骤：在预设区域边缘摆放若干个路障，并安装闭路电视对路障情况进行监控，产生监控视频流；通过所述监控视频流，使用计算机视觉检测方法实时检测路障摆放情况和建筑工人情况；所述基于视觉的缺失检测方法包括掩模比较法和缺失目标检测方法；将路障缺失的区域边缘标记为危险区域；在危险区域发现建筑工人时，进行危险提示。本发明通过先进的深度学习方法检测路障缺失情况，有效防止高处坠落事故的发生，广泛应用于各建筑施工领域，并为相关技术人员提供新的研究方向。CN114170564ACN114170564A权利要求书1/2页1.一种基于计算机视觉的缺失路障检测方法，其特征在于，包括以下步骤：对建筑区域边缘进行监控，产生监控视频流，所述区域边缘摆放了若干个路障；通过所述监控视频流，使用计算机视觉检测方法实时检测路障摆放情况和建筑工人情况；所述基于视觉的缺失检测方法包括掩模比较法和缺失目标检测方法；将路障缺失的区域边缘标记为危险区域；在危险区域发现建筑工人时，进行危险提示。2.根据权利要求1所述的一种基于计算机视觉的缺失路障检测方法，其特征在于，所述掩模比较法，包括以下步骤：使用对象分割神经算法分割所述监控视频流中的路障，所述对象分割神经算法包括U‑Net；取分割得到的第一帧，使用掩模手工标记图像上的路障；在图像上建立直角坐标系，并建立每个路障掩膜的坐标(xmax，ymax，xmin，ymin)；建立时间索引m，根据时间帧对监控视频流进行标记，每个标记对应一帧，t时刻的视频帧记作mt；使用t+1时刻的路障掩模与t时刻的路障掩模相减。3.根据权利要求2所述的一种基于计算机视觉的缺失路障检测方法，其特征在于，如果出现路障掩模缺失的情况，执行以下步骤：将前一时刻mt中的路障掩模减去当前时刻mt+1处的路障掩模，得到缺失的路障掩模，ml＝mt‑mt+1；使用指数平滑函数将前一时刻路障掩模更新为mt＝0.9*mt+0.1*mt+1；找到缺失路障掩码的坐标ml作为缺失路障的边界框。4.根据权利要求1所述的一种基于计算机视觉的缺失路障检测方法，其特征在于，所述缺失目标检测方法，包括以下步骤：将所述监控视频流逐帧分割；得到若干张监控图像；取第一张监控图像中路障的四个角作为关键点标记；在监控图像上建立直角坐标系，并建立路障中每个关键点的坐标信息；将监控图像输入完全卷积网络生成热点图，所述完全卷积网络包括CenterNet网络；通过所述热点图获取路障的中心点、路障边界框的高度和宽度以及关键点到中心点的偏移值；其中，中心点对应热图中的峰值、边界框的高度和宽度对应峰值处的图像特征、偏移值通过损失函数计算；通过所述中心点、边界框的高度和宽度、偏移值在每一张监控图像上进行标记，得到每一张监控图像对应的特征图；通过所述特征图进一步判断路障缺失情况。5.根据权利要求4所述的一种基于计算机视觉的缺失路障检测方法，其特征在于，所述CenterNet网络，通过如下三种类型的损失训练得到：焦点损失Lk：2CN114170564A权利要求书2/2页其中，Yxyc是高斯核生成的关键点，Yxyc＝1表示高斯核生成的关键点在实际关键点位置，表示CenterNet目标检测模型输出的对关键点的预测值，α和β是损失函数的超参数，x、y和c分别代表关键点的x坐标、关键点的y坐标和关键点的类别，N是图像中的关键点数量；中心偏移损失Loff：其中，p为原图目标中心点坐标，R为原图与特征图的缩放比例，为特征图上预测的中心点坐标，为网络预测的目标中心点坐标偏移；边界框大小损失Lsize:其中，k表示图像中第k个目标，pk表示第k个目标的中心点坐标，表示预测的目标尺寸，Sk表示目标的尺寸；总损失函数：L＝Lk+λ1Lsize+λ2Loff。6.根据权利要求1所述的一种基于计算机视觉的缺失路障检测方法，其特征在于，所述在危险区域发现建筑工人时，进行危险提示，具体包括：使用广播提示建筑工人；将危