基于视频的公路监控方法及装置、存储介质和监控系统.pdf

(19)中华人民共和国国家知识产权局(12)发明专利申请(10)申请公布号CN113850123A(43)申请公布日2021.12.28(21)申请号202110947977.4G06T7/20(2017.01)(22)申请日2021.08.18G06T7/90(2017.01)(71)申请人广州国交润万交通信息有限公司地址510000广东省广州市天河区棠下涌东路400号之二首层自编11号铺2-7楼401房(72)发明人吕洪燕吴国平赵步许李柏坤刘电朱江婉(74)专利代理机构广州蓝晟专利代理事务所(普通合伙)44452代理人陈栩东(51)Int.Cl.G06K9/00(2006.01)G06K9/34(2006.01)G06K9/62(2006.01)权利要求书3页说明书7页附图1页(54)发明名称基于视频的公路监控方法及装置、存储介质和监控系统(57)摘要本发明公开了一种基于视频的公路监控方法及装置、存储介质和监控系统，方法包括先获取公路视频，然后对视频帧进行目标检测以识别车辆、行人和烟火，再跟踪车辆和行人，并根据车辆行驶轨迹判断车辆是否违反交通规则或拥堵，根据行人移动轨迹判断行人是否违反交通规则，对违规及拥堵情况进行报警；另外对视频中除了车辆、行人之外的其他物体进行检测及跟踪，将其中从运动状态到静止状态的物体判定为抛洒物，对抛洒物进行报警；以及对视频帧进行气象识别和路面异常状态识别，对天气类型和出现的路面积水、积雪或结冰情况进行报警。本发明能够对公路进行实时无间断监控，精准全面地识别复杂多变的道路情况，提高公路管理效率。CN113850123ACN113850123A权利要求书1/3页1.一种基于视频的公路监控方法，其特征在于，包括如下步骤：获取摄像头所拍摄的公路视频；对公路视频的视频帧进行目标检测，以识别出视频帧中的车辆、行人和烟火，进而对车辆和行人进行目标跟踪，根据跟踪所得到的车辆行驶轨迹判断车辆是否违反交通规则或拥堵，根据跟踪所得到的行人移动轨迹判断行人是否违反交通规则，并对违规及拥堵情况进行报警；对视频中的物体进行检测，并对除了车辆、行人之外的其他物体进行目标跟踪，将其中从运动状态到静止状态的物体判定为抛洒物，并对抛洒物进行报警；对视频帧进行气象识别，当识别出视频帧中的天气类型为雨天或雪天时，再进行路面异常状态识别，判断视频帧中的路面是否积水、积雪或结冰，并对天气类型和出现的路面异常状态进行报警。2.根据权利要求1所述的基于视频的公路监控方法，其特征在于，使用yolov5目标检测网络对视频帧进行目标检测，其中，yolov5目标检测网络通过在不同图像细粒度上聚合并形成图像特征，从而基于图像特征来识别出视频帧中的车辆、行人和烟火，并获得所识别对象在视频帧中的位置信息；随后，使用VT跟踪算法对车辆、行人进行跟踪，通过前后两帧位置信息的变化来得出行人的移动路线、车辆行驶速度及行驶方向；当行人的移动路线没有按照人行横道或人行过街设施时，即判断为行人闯入；当车辆前后两帧位置信息没有变化及速度为0时，即判断为停车；当车辆行驶方向与当前车道正常行驶车辆的行驶方向相反时，即判断为逆行；当车辆速度低于设定的速度阈值及车道占有率大于设定的车道占有率阈值时，即判断为拥堵。3.根据权利要求1所述的基于视频的公路监控方法，其特征在于，抛洒物的检测过程具体为：1)先将公路视频按比例抽帧，然后将抽取出来的各视频帧进行AGMM背景建模来获取背景图像及前景二值图，同时进行边缘检测来获取边缘二值图，使用yolov5目标检测网络来检测视频帧中的车辆、行人，获得除去车辆、行人的yolov5二值图；2)对于抽取出来的每帧视频帧，将其对应的前景二值图、边缘二值图、yolov5二值图进行与操作，得到筛选后的前景图；3)根据筛选后的前景图的颜色偏差和亮度偏差来对筛选后的前景图进行阴影检测，进而去除阴影干扰；4)根据去除阴影后的前景图，将其中处于静止状态的物体初步判断为疑似抛洒物；5)然后采用目标跟踪算法对该物体进行跟踪，判断当前静止的物体是否存在于历史帧，若是，则最终判定为非抛洒物，若否，则最终判定为抛洒物，在视频中对该抛洒物进行标注并获取对应的位置信息。4.根据权利要求3所述的基于视频的公路监控方法，其特征在于，在步骤3)中，如果筛选后的前景图中某个像素的色度偏差大于设定的色度偏差阈值，则判定该某个像素属于前景区域；如果筛选后的前景图中某个像素的色度偏差小于或等于设定的色度偏差阈值，则判定该某个像素属于背景区域，在这种情况下：2CN113850123A权利要求书2/3页如果该某个像素的亮度大于背景图像对应像素的亮度，或者该某个像素的亮度偏差小于或等于设定的亮度偏差阈值，则进一步判定该某个像素未受到阴影干扰；如果该某个像素的亮度小于背景图像对应像素的亮度，则进一步判