一种番茄采摘机器人的植株与果实检测算法.pdf

(19)国家知识产权局(12)发明专利申请(10)申请公布号CN115984704A(43)申请公布日2023.04.18(21)申请号202310096462.7(22)申请日2023.02.10(71)申请人浙江理工大学地址310018浙江省杭州市下沙高教园区白杨街道2号大街928号(72)发明人孟志超杜小强马锃宏(74)专利代理机构杭州九洲专利事务所有限公司33101专利代理师王之怀王洪新(51)Int.Cl.G06V20/10(2022.01)G06V10/46(2022.01)G06V10/82(2022.01)G06N3/08(2023.01)G06N3/0464(2023.01)权利要求书2页说明书7页附图4页(54)发明名称一种番茄采摘机器人的植株与果实检测算法(57)摘要本发明涉及机器视觉领域。目的是提供一种番茄采摘机器人的植株与果实检测算法，该算法应实现无碰撞采摘，并具有检测速度快、精度高的特点。技术方案是：一种番茄采摘机器人的植株与果实检测算法，包括以下步骤：1‑1)采集番茄图像；1‑2)将番茄图像输入多任务卷积神经网络模型进行处理；1‑3)在番茄图像上得到番茄的边界框、关键点、茎杆；所述多任务卷积神经网络模型的建立方法为：2‑1)构建数据集；2‑2)数据预处理；2‑3)选择YOLOV5s作为基础网络模型，在基础网络模型中加入关键点预测参数与语义分割模块；2‑4)确定模型训练超参数，构建模型损失函数，将数据集输入基础网络模型进行训练和测试，得到多任务卷积神经网络模型。CN115984704ACN115984704A权利要求书1/2页1.一种番茄采摘机器人的植株与果实检测算法，包括以下步骤：1‑1)采集番茄图像；1‑2)将番茄图像输入多任务卷积神经网络模型进行处理；1‑3)在番茄图像上得到番茄的边界框、关键点、茎杆；所述多任务卷积神经网络模型的建立方法为：2‑1)构建数据集：构建番茄关键点数据集和番茄茎杆数据集；2‑2)数据预处理：将番茄关键点数据集和番茄茎杆数据集进行归一化处理和数据增强操作；2‑3)选择YOLOV5s作为基础网络模型；基础网络模型的Head网络的检测分支中加入关键点预测参数以实现边界框回归与关键点预测，在基础网络模型的Head网络中加入语义分割模块以实现番茄茎杆语义分割；基础网络模型的第16层的拼接层依次通过卷积层、上采样层、C3模块、卷积层、上采样层、卷积层、C3模块、卷积层、上采样层后连接语义分割模块；2‑4)确定模型训练超参数，构建模型损失函数，以F1作为目标检测性能指标，以mIoU作为语义分割性能指标，以dlmk作为关键点性能指标，将数据集输入基础网络模型进行训练和测试，得到多任务卷积神经网络模型。2.根据权利要求1所述的一种番茄采摘机器人的植株与果实检测算法，其特征在于：所述多任务卷积神经网络模型的建立方法还包括：2‑5)对基础网络模型进行通道剪枝：对网络模型进行稀疏训练、通道修剪、微调模型，使模型在保持模型精度的情况下，减少模型权重，加快检测速度。3.根据权利要求2所述的一种番茄采摘机器人的植株与果实检测算法，其特征在于：所述步骤2‑4)中，所述F1公式为：其中，TP表示真阳性，FP表示假阳性，FN表示假阴性；所述dlmk公式为：其中，n代表关键点的数量，xpi代表预测关键点的x坐标，ypi代表预测关键点的y坐标,xti代表标签关键点的x坐标，yti代表标签关键点的y坐标；所述mIoU公式为：其中，K代表语义分割的类别数。2CN115984704A权利要求书2/2页4.根据权利要求3所述的一种番茄采摘机器人的植株与果实检测算法，其特征在于：所述步骤2‑4)中，优化器为Adam，训练周期为700次，batchsize为16，图片像素为800。5.根据权利要求4所述的一种番茄采摘机器人的植株与果实检测算法，其特征在于：所述稀疏训练为：运用基于L1范数的L1正则化函数约束基础网络模型的BN层系数，使BN层γ因子稀疏化，使模型在稀疏的方向上进行调整；所述稀疏训练的优化目标为：其中，x代表输入，y代表目标，w代表可训练的权重，l代表实际输出和目标相差的损失，|mi|代表第i层缩放因子的绝对值，λ代表稀疏率，L表示网络的总层数，h表示可训练层的函数表达式。6.根据权利要求5所述的一种番茄采摘机器人的植株与果实检测算法，其特征在于：所述通道剪枝为：稀疏化训练完成后，需要确定模型修剪的比例，从而确定BN层修剪的阈值，对模型进行通道修剪。7.根据权利要求6所述的一种番茄采摘机器人的植株与果实检测算法，其特征在于：所述模型微调为：运用数据集对通道剪枝完成后的基础网络模型继续训练。8.根据权利要求7所述的一种番茄采摘机器人的植株与果实检测算法，其特征在于：所述损失函数由边界框回归损失函数、掩码损失