一种基于深度学习的水面漂浮物检测方法.pdf

(19)中华人民共和国国家知识产权局(12)发明专利申请(10)申请公布号CN114170549A(43)申请公布日2022.03.11(21)申请号202111494709.8G06V10/82(2022.01)(22)申请日2021.12.08G06V10/74(2022.01)G06T7/277(2017.01)(71)申请人中科计算技术西部研究院地址401121重庆市渝北区黄山大道中段53号(72)发明人李浩澜陈首信段勃杨东鑫谭光明王佩(74)专利代理机构重庆智慧之源知识产权代理事务所(普通合伙)50234代理人余洪(51)Int.Cl.G06V20/40(2022.01)G06V20/52(2022.01)G06V10/774(2022.01)G06N3/08(2006.01)权利要求书1页说明书5页附图2页(54)发明名称一种基于深度学习的水面漂浮物检测方法(57)摘要本发明公开了一种基于深度学习的水面漂浮物检测方法，涉及水面漂浮物检测技术领域；为了解决无法快速准确的在不同光照环境下识别出漂浮在水面上的漂浮物的问题；具体包括如下步骤：初始化漂浮物检测系统后对河道摄像头进行故障检测，系统在无故障状态下，河道摄像头开始实时拍摄河道视频；选取存在漂浮物的一路RTSP监控视频，通过算法服务器CPU进行图像解码后，送入目标检测模型进行深度学习推理。本发明拍摄不同光照条件下的车流视频，数据中存在部分低光照、模糊、低对比度背景下的漂浮物图像，这样训练出来的模型鲁棒性更好，而使用迁移学习则能有效降低训练数据样本数量、训练成本，并能完成多复杂的漂浮物检测场景。CN114170549ACN114170549A权利要求书1/1页1.一种基于深度学习的水面漂浮物检测方法，其特征在于，包括如下步骤：S1：初始化漂浮物检测系统后对河道摄像头进行故障检测，系统在无故障状态下，河道摄像头开始实时拍摄河道视频；S2：获取河道监控视频；S3：通过水域分割算法获取河面检测区域；S4：将水域分割后的河道监控图像帧传入河道目标检测模型进行漂浮物目标检测；S5：通过目标检测模型检测监控视频帧中是否具有漂浮物；如是，转至步骤S6,如否，转至步骤S4处理下一帧；S6：通过深度排序跟踪算法，确定一段时间内连续多帧中重复出现该漂浮物目标；S7：确定该目标是漂浮物，进行报警并输出河道二值化图像。2.根据权利要求1所述的一种基于深度学习的水面漂浮物检测方法，其特征在于，所述河道目标检测模型通过如下步骤构建得到：SA1：获取水面存在漂浮物的图像作为训练样本；SA2：对各图像的漂浮物类型进行标注，所述漂浮物类型包括塑料瓶、塑料袋、树叶、树枝；SA3：基于YOLOv3架构通过迁移学习对模型进行训练；SA4：输出模型，得到所述河道目标检测模型。3.根据权利要求2所述的一种基于深度学习的水面漂浮物检测方法，其特征在于，其中获取训练样本的方式为在不同光照条件下拍摄河面、湖面、江面的漂浮物视频，让数据中存在适量低光照、模糊、低对比度背景下的漂浮物图像，在图像标注阶段每类数据标注数量保持平衡。4.根据权利要求1‑3任一项所述的一种基于深度学习的水面漂浮物检测方法，其特征在于，所述深度排序跟踪算法包括如下步骤：SB1：首先对每一帧中所有目标利用卡尔曼滤波来进行状态估计；SB2：通过8个参数分别描述目标检测输出的矩形边界框的中心坐标、边界框长宽比、高度、速度信息；SB3：将前一帧中该目标矩形边界框和当前帧中的所有目标检测边界框进行匹配选择相似度满足要求的目标检测边界框作为下一次卡尔曼滤波输入，实现跟踪。5.根据权利要求4所述的一种基于深度学习的水面漂浮物检测方法，其特征在于，所述选择相似度满足要求的目标检测边界框作为下一次卡尔曼滤波输入包括：使用马氏距离计算当前帧中目标检测边界框dj和前一帧目标跟踪边界框yi之间的距离，公式如下：(1)T‑1d(i,j)＝(dj‑yi)Si(dj‑yi)(2)(1)(1)(1)bi,j＝[d(i,j)≤t](3)(1)判断当前帧中目标检测边界框dj和前一帧目标跟踪边界框yi之间的距离d(i,j)是否小于设定距离阈值t(1)，如是，判定相似度满足要求，跟踪成功。6.根据权利要求5所述的一种基于深度学习的水面漂浮物检测方法，其特征在于，所述深度排序跟踪算法还包括通过深度神经网络来提取图像高维特征加入对比，公式如下：(2)T(i)id(i,j)＝min{1‑rjrk|rk∈Ri}(4)。2CN114170549A说明书1/5页一种基于深度学习的水面漂浮物检测方法技术领域[0001]本发明涉及水面漂浮物检测技术领域，尤其涉及一种基于深度学习的水面漂浮物检测方法。背景技术[0002]随着经济和社会的快速发展，许多饮水水源、城市内河、周边湖泊、水库等水面上出现大量的污