一种基于深度学习的船舶黑烟识别方法.pdf

(19)中华人民共和国国家知识产权局(12)发明专利申请(10)申请公布号CN114241189A(43)申请公布日2022.03.25(21)申请号202111441778.2G06K9/62(2022.01)(22)申请日2021.11.30G06N3/04(2006.01)(71)申请人东南大学地址211135江苏省南京市麒麟科创园智识路26号启迪城立业园04幢(72)发明人胡里阳叶智锐邵宜昌王超张耀玉吴浩(74)专利代理机构南京经纬专利商标代理有限公司32200代理人姜慧勤(51)Int.Cl.G06V10/25(2022.01)G06V10/774(2022.01)G06V10/80(2022.01)G06V10/82(2022.01)权利要求书4页说明书8页附图4页(54)发明名称一种基于深度学习的船舶黑烟识别方法(57)摘要本发明公开了一种基于深度学习的船舶黑烟识别方法，包括如下步骤：S1、构建数据集；S2、数据集预处理；S3、构建船舶黑烟识别模型；S4、实时监测。该方法基于改进的YOLOv4网络模型，通过对损失函数进行针对性的修改来增加困难样本的损失权重，进而能够克服黑烟样本集不均衡的所带来的识别困难。该方法在高识别精度的基础上保持较快的识别速度，可以满足相关管理部门对船舶黑烟识别的准确性、实时性需求，同时适用于图片检测和视频检测。此外，本发明所提出的混合马赛克数据扩增方法能够保证网络模型在单GPU环境下稳定、高速训练，节省目标识别算法的计算资源和训练时间，具有较大的工业生产价值和推广价值。CN114241189ACN114241189A权利要求书1/4页1.一种基于深度学习的船舶黑烟识别方法，其特征在于，包括如下步骤：步骤1，获取原始数据集，所述原始数据集不少于2000张有效图片，且每张图片的分辨率不低于608×608，并对图片按顺序编号；步骤2，对原始数据集进行预处理，得到预处理后的数据集；步骤3，构建船舶黑烟识别网络模型，并使用预处理后的数据集训练船舶黑烟识别网络模型，得到训练好的船舶黑烟识别网络模型；步骤4，将实时抓拍的图片或视频输入训练好的船舶黑烟识别网络模型，输出检测结果，根据检测结果判定船舶是否排放黑烟即是否违规。2.根据权利要求1所述的基于深度学习的船舶黑烟识别方法，其特征在于，步骤1所述获取原始数据集的具体过程如下：步骤1‑1，使用云台摄像机抓拍船舶图片构成抓拍数据集，所述抓拍数据集包括有黑烟的船舶图片和无黑烟的船舶图片；步骤1‑2，使用网络爬虫技术从图片网站中爬取黑烟相关图片，并进行人工筛选，构成扩增数据集；所述抓拍数据集和扩增数据集共同组成原始数据集。3.根据权利要求1所述的基于深度学习的船舶黑烟识别方法，其特征在于，所述步骤2的具体过程如下：步骤2‑1，使用图像增强方式对原始数据集进行增强变换，得到增强后的数据集，所述图像增强方式包括随机翻转、随机剪裁、随机擦除、随机调整亮度、随机糊化和直方图均衡化；步骤2‑2，使用labelImg图像标注工具对增强后的数据集进行人工标注，利用标注框分别标注出船舶和黑烟在图片中的位置，并打标签boat和smoke；步骤2‑3，使用混合马赛克扩增方法对增强后的数据集进行扩增，并进行人工标注框的融合，得到预处理后的数据集。4.根据权利要求3所述的基于深度学习的船舶黑烟识别方法，其特征在于，所述步骤2‑3的具体过程如下：先从增强后的数据集中随机选取两张图片按透明度0.5叠加起来构成新图片集，则新图片集中的图片数量为n为增强后的数据集中图片数量，再从新图片集中随机选取四张图片拼接在一起合成新图片，并将新图片缩放成608×608大小，最后进行人工标注框的融合，得到预处理后的数据集，预处理后的数据集中的图片数量为5.根据权利要求1所述的基于深度学习的船舶黑烟识别方法，其特征在于，所述步骤3的具体过程如下：步骤3‑1，配置船舶黑烟识别网络模型YOLOv4运行环境；步骤3‑2，搭建船舶黑烟识别网络模型YOLOv4，包括特征提取骨干网络CSPdarknet53，颈部网络SPP+PANnet，头部网络YOLOhead；步骤3‑3，向YOLOv4中加载预训练权重文件，得到预训练船舶黑烟识别网络模型；步骤3‑4，将预训练船舶黑烟识别网络模型的损失函数中关于回归损失部分修改为CIOU损失，分类损失部分增加衰减系数，修改为针对不平衡样本的焦点分类损失，得到改进2CN114241189A权利要求书2/4页后的船舶黑烟识别网络模型，且改进后的损失函数计算公式如下：式中，第一行为回归框boundingbox与真实框groundtruthbox的CIOU损失，第二行、第三行分别为存在检测对象的置信度损失和不存在检测对象的置信度损失，第四行为每一类别的焦点分类损失；22S表示将输入图片分割为