基于深度学习的水下鱼类重量估计方法、系统及电子设备.pdf

(19)国家知识产权局(12)发明专利申请(10)申请公布号CN115731282A(43)申请公布日2023.03.03(21)申请号202211454671.6G06V40/10(2023.01)(22)申请日2022.11.21G06V10/44(2023.01)G06V10/74(2022.01)(71)申请人华南农业大学G06V10/762(2022.01)地址510642广东省广州市天河区五山路G06V10/80(2022.01)483号G06V10/82(2022.01)(72)发明人时浩文李智庆岳学军苏世源G06N3/0455(2023.01)张育华吴彦琪王越肖佳仪G06N3/0464(2022.01)郑健宇李海锋丁子予G06N3/08(2022.01)(74)专利代理机构广州市华学知识产权代理有G01D21/00(2022.01)限公司44245专利代理师李斌(51)Int.Cl.G06T7/60(2017.01)G06V20/05(2006.01)G06V20/52(2022.01)权利要求书3页说明书9页附图3页(54)发明名称基于深度学习的水下鱼类重量估计方法、系统及电子设备(57)摘要本发明公开了一种基于深度学习的水下鱼类重量估计方法、系统及电子设备，方法包括：收集目标鱼类图像，对图像进行划分和标注，构建目标鱼类数据集；对所述目标鱼类数据集进行预处理；构建目标鱼类检测模型、轮廓提取模型和重量估计模型，使用获取的目标鱼类数据集训练上述模型；构建目标鱼类轮廓对比器，判断鱼身是否和摄像头垂直，当两者垂直时，对相应的轮廓图进行后续处理；构建目标鱼类轮廓图缩放器，对输入轮廓图的像素尺寸进行缩放；将按比例缩放后的轮廓图作为重量估计模型的输入，得到目标鱼类的重量估计结果。本发明能无损、快速地对目标鱼类进行识别、定位和重量估计，对多尺寸目标有良好的识别精度。CN115731282ACN115731282A权利要求书1/3页1.基于深度学习的水下鱼类重量估计方法，其特征在于，包括下述步骤：收集目标鱼类图像，对图像进行划分和标注，构建目标鱼类数据集；对所述目标鱼类数据集进行预处理；构建目标鱼类检测模型、轮廓提取模型和重量估计模型，使用获取的目标鱼类数据集训练目标鱼类检测模型、轮廓提取模型和重量估计模型；所述目标鱼类检测模型用于对输入图像进行目标检测，使用锚框标定目标鱼类的位置，得到带有锚框的识别图片；所述轮廓提取模型用于对识别图片的锚框内区域进行边缘分割和轮廓提取，获取目标鱼类的轮廓图；所述重量估计模型基于目标鱼类轮廓图预测目标鱼类的重量；构建目标鱼类轮廓对比器，判断鱼身是否和摄像头垂直，当两者垂直时，对相应的轮廓图进行后续处理；构建目标鱼类轮廓图缩放器，对输入轮廓图的像素尺寸进行缩放，使其像素尺寸与实物尺寸的比例与重量估计模型的训练数据的对应比例相同；将按比例缩放后的轮廓图作为重量估计模型的输入，得到目标鱼类的重量估计结果。2.根据权利要求1所述基于深度学习的水下鱼类重量估计方法，其特征在于，所述收集目标鱼类图像，对图像进行划分和标注，构建目标鱼类数据集，具体为：从公开的数据集中获取所需的鱼类图像，包括水下拍摄的鱼类图像和标注有对应重量的鱼类图像；使用LabelImg工具对收集的鱼类图像进行划分和标注，构建目标鱼类数据集，包括标注水下拍摄的鱼类图像中目标鱼类的位置。3.根据权利要求1所述基于深度学习的水下鱼类重量估计方法，其特征在于，所述预处理具体为：使用AutoAugment方法对数据集图像进行数据增广处理；使用OpenCV对标注有对应质量的鱼类图像进行高斯滤波和灰度化处理使用letterbox自适应缩放操作统一输入图像的像素尺寸使用K‑means聚类自适应锚框计算获取锚框的设定尺寸。4.根据权利要求1所述基于深度学习的水下鱼类重量估计方法，其特征在于，所述目标鱼类检测模型，使用改进的YOLOv5目标检测框架训练使用改进的YOLOv5目标检测框架训练，包括Input部分、Backbone部分、Neck部分和Prediction部分；所述Input部分即为经过预处理后的目标鱼类数据集，包含水下拍摄的鱼类图像及标签信息；所述Backbone部分包括Focus结构、CSP1_X结构、CBL结构和SPP结构，输入的训练图像数据在Focus结构经切片操作后，变成不同规格的特征图片，再经历一次使用多个卷积核的卷积操作得到特征图，将特征图多次送入CBL结构和CSP1_X结构进行运算操作，运算结构送入SPP结构，以最大池化方式进行多尺度特征图的融合；所述Neck部分包括FPN结构，在原有FPN结构的基础上引入自适应注意力模块AAM和特征增强模块FEM来减少特征图生成过程中的信息丢失；对于来自FPN结构的特征图，通过AAM的自适应平均