一种基于工厂化养殖的对虾多目标跟踪系统及方法.pdf

(19)中华人民共和国国家知识产权局(12)发明专利申请(10)申请公布号CN113706579A(43)申请公布日2021.11.26(21)申请号202110909169.9G06N3/08(2006.01)(22)申请日2021.08.09G06Q50/02(2012.01)(71)申请人华北理工大学地址063000河北省唐山市曹妃甸新城渤海大道21号(72)发明人刘利平乔乐乐孙建何航宇石义(74)专利代理机构深圳众邦专利代理有限公司44545代理人李勇(51)Int.Cl.G06T7/246(2017.01)G06K9/00(2006.01)G06K9/62(2006.01)G06N3/04(2006.01)权利要求书2页说明书8页附图6页(54)发明名称一种基于工厂化养殖的对虾多目标跟踪系统及方法(57)摘要本发明公开了一种基于工厂化养殖的对虾多目标跟踪系统及方法，属于目标追踪技术领域。本发明中，在YOLOv3模型的基础上，将模型的骨干网络Darknet53引入Mish函数，并增加了Focus模块、空间金字塔池化模块、特征金字塔模块，提出了基于改进Yolov3的对虾多目标跟踪方法，融合了改进Yolov3目标检测和DeepSort对虾多目标跟踪模型能够实现实际养殖环境下的对虾多目标实时跟踪，可为实现对虾大规模养殖的精准管理提供良好的技术支持。CN113706579ACN113706579A权利要求书1/2页1.一种基于工厂化养殖的对虾多目标跟踪方法，其特征在于，包括以下步骤：S101、通过摄像头获取目标的多个连续视频图像，其中目标为包括环境内多目标的连续视频图像；S102、确定连续视频图像内特征信息，确定视频子图像，其中，子图像包括所有目标的关键帧；S103、基于子图像关键帧特征信息通过Yolov3检测器进行目标检测提取；S104、通过对提取的目标进行匹配，通过DeepSort跟踪器的实时输入完成目标运动轨迹跟踪检测。2.根据权利要求1所述的一种基于工厂化养殖的对虾多目标跟踪方法，其特征在于，具体还包括建立Yolov3模型系统实现对提升小尺度和遮挡目标的检测和跟踪能力，训练方法具体包括以下步骤：S201、筛选剔除夜间、无目标和镜头污染无效片段视频图像后；S202、构建了3个数据集分别用于训练目标检测模型、重识别模型和验证多目标跟踪效果；S203、对于目标检测数据集，利用ffmpeg进行关键帧提取，将采集的6024张(1920像素×1080像素)对虾图像通过LabelImg标注工具进行标注，制作成PASCALVOC标准数据集格式的数据；S204、按照4︰1的比例划分为训练集和测试集；S205、为了提高重识别结果的准确性，通过人工筛选视频数据保证对虾个体为唯一存在，再使用DarkLabel对视频进行标注，根据标注过程中的不同标号来区分不同个体，最后按照Market‑1501数据集格式构建重识别数据集。3.根据权利要求1所述的一种基于工厂化养殖的对虾多目标跟踪方法，其特征在于，具体还包括使用多目标跟踪算法对提取目标进行匹配进行轨迹跟踪检查，通过提取深度表观特征提升多目标的跟踪效果，基于现有的准确的检测结果，以检测结果boundingbox、confidence、feature为输入，confidence主要用于检测框的筛选，boundingbox与feature(ReID)用于与跟踪器的匹配计算，预测模块利用卡尔曼滤波器，更新模块部分利用IOU进行匈牙利算法的匹配。4.根据权利要求1‑3任意一项所述的一种基于工厂化养殖的对虾多目标跟踪方法，其特征在于，还包括使用多目标跟踪方法的系统，所述系统采用改进型Yolov3作为对虾多目标跟踪模型的目标检测模块，具体改进包括增加Mosaic数据增强模块、Focus模块、CSP模块、FPN+PAN模块和引入Mish函数来增强模型的泛化能力，引入GIOU损失函数对交并比损失函数进行优化。5.根据权利要求4所述的一种基于工厂化养殖的对虾多目标跟踪系统，其特征在于，所述Mosaic数据增强具体增强方法包括采用4张图片通过随机缩放、随机裁剪和随机排布的方式进行拼接。6.根据权利要求4所述的一种基于工厂化养殖的对虾多目标跟踪系统，其特征在于，所述Focus模块增强包括对图片切片操作，在图像中每隔一个像素取值，原始608×608×3的图像输入Focus模块，采用切片操作变成304×304×12的特征图，经过32个卷积核的卷积操作，变成304×304×32的特征图，得到没有信息丢失的下采样特征图。2CN113706579A权利要求书2/2页7.根据权利要求4所述的一种基于工厂化养殖的对虾多目标跟踪系统，其特征在于，所述CSP模块增强包括CSP模块包含卷积、批归一化、leakyrelu激活函数和X个残差单