一种基于视频监控图像的内河船舶目标检测方法和装置.pdf

(19)中华人民共和国国家知识产权局(12)发明专利申请(10)申请公布号CN113610178A(43)申请公布日2021.11.05(21)申请号202110942756.8(22)申请日2021.08.17(71)申请人湖南工学院地址421002湖南省衡阳市珠晖区衡花路18号(72)发明人任永梅贾雅琼俞斌李欣杜鸣笛吴乐盛昌飞(74)专利代理机构衡阳雁城专利代理事务所(普通合伙)43231代理人龙腾(51)Int.Cl.G06K9/62(2006.01)G06N3/08(2006.01)权利要求书3页说明书8页附图3页(54)发明名称一种基于视频监控图像的内河船舶目标检测方法和装置(57)摘要一种基于视频监控图像的内河船舶目标检测方法和装置，涉及计算机视觉检测技术领域，本发明采用语义聚合模块将语义信息丰富的深层特征与位置信息丰富的浅层特征进行聚合，提高了模型对船舶目标的分类和定位能力，在此基础上，通过增加一个较大尺度的目标检测层，保证了模型对渔船等小目标的检测精度，通过使用DIoU设计损失函数，克服了IoU在预测边框和真实边框之间没有重叠时不能回传梯度的缺点，进一步提升了模型对船舶目标的检测性能，其运算速度能够满足实时性检测的要求，在海事安全和海事管理等领域具有广阔的应用前景。CN113610178ACN113610178A权利要求书1/3页1.一种基于视频监控图像的内河船舶目标检测方法，其特征在于，包括以下步骤：S1、从现有的视频监控图像数据集中获取船舶图像及相应的xml标注文件作为训练集，从待检测视频监控图像数据集中获取船舶图像及相应的xml标注文件作为测试集；S2、使用K‑means聚类方法对训练集的真实标注边框进行聚类计算得到最优的初始锚框的宽高和数量；S3、将训练集的视频监控图像进行预处理和数据增强后输入到Darknet‑19网络中进行特征提取，采用语义聚合模块将包含语义信息的深层特征与包含位置信息的浅层特征进行融合，同时使用特征融合模块将浅层特征经过直通层融合到深层特征，并增加一个多尺度目标检测层；S4、使用DIoU设计损失函数，采用多尺度输入训练策略训练网络模型，通过不断的迭代训练更新权重参数，直到损失函数收敛，保存最优训练模型；S5、将预处理后的测试集船舶图像输入到Darknet‑19网络中进行特征提取，利用所述最优训练模型对待检测船舶图像进行检测，得到船舶目标的预测边框，滤除掉低于阈值的预测边框，使用非极大值抑制算法对预测结果进行后处理，得到目标的类别和边框位置参数。2.根据权利要求1所述的内河船舶目标检测方法，其特征在于：步骤S1中所获取的船舶图像大小为1920×1080像素，每张船舶图像的xml标注文件中包含对应图片的名称、路径、原始图像的分辨率、类别信息和所有边框的坐标信息。3.根据权利要求1所述的内河船舶目标检测方法，其特征在于，步骤S2中，利用距离度量指标公式：d(box,centroid)＝1‑IoU(box,centroid)；其中，box为船舶目标的真实边框，centroid为聚类的中心锚框，IoU(box,centroid)为船舶目标的真实边框与聚类的中心锚框的交并比，d为船舶目标边框与聚类的中心锚框的距离；并结合下式计算所有的船舶目标的真实边框与聚类的中心锚框的IoU值的最大平均值，得到平均IoU：其中，q表示船舶目标的总数，k表示聚类的个数，qk表示第k个聚类中心中的船舶目标的个数；通过多次聚类试验及综合考虑检测模型的召回率和复杂度来确定k值，进而得到最优的初始锚框的宽高和数量。4.根据权利要求2所述的内河船舶目标检测方法，其特征在于：步骤S3和步骤S5中还包括对视频监控图像进行预处理的步骤，对视频监控图像进行预处理时，将训练集图像每隔10个epoch缩放到固定尺寸N×N像素，N∈[320,608]，步长为32，测试集图像下采样为480×480像素。5.根据权利要求1所述的内河船舶目标检测方法，其特征在于：步骤S3中还包括将预处理后的视频监控图像进行数据增强的步骤，训练集的视频监控图像经预处理后再进行随机2CN113610178A权利要求书2/3页翻转、色调变化、饱和度和曝光变化处理，以实现数据增强。6.根据权利要求4所述的内河船舶目标检测方法，其特征在于：所述Darknet‑19网络由19个卷积层和5个最大池化层组成，卷积核大小为3×3和1×1两种，在3×3大小的卷积核之间使用1×1大小的卷积核来压缩特征并加深网络深度，在批量归一化之后使用leakyReLU激活函数以避免深层网络出现梯度消失的现象。7.根据权利要求1中所述的内河船舶目标检测方法，其特征在于：在步骤S3中，语义聚合模块是先对深层特征进行1×1卷积和2倍上采样后再与浅层特征进行聚合；特征融合模块是将浅层特征先经过1×1