一种用于名优茶嫩芽采摘过程的定位方法.pdf

(19)国家知识产权局(12)发明专利申请(10)申请公布号CN115187803A(43)申请公布日2022.10.14(21)申请号202210966333.4G06V10/30(2022.01)(22)申请日2022.08.12G06V10/80(2022.01)G06V10/82(2022.01)(71)申请人仲恺农业工程学院G06N3/04(2006.01)地址510220广东省广州市海珠区纺织路G06N3/08(2006.01)东沙街24号大院G06T7/00(2017.01)(72)发明人朱立学张智浩林桂潮张世昂A01D46/04(2006.01)(74)专利代理机构重庆晶智汇知识产权代理事A01D46/30(2006.01)务所(普通合伙)50229专利代理师施永卿(51)Int.Cl.G06V10/762(2022.01)G06V10/774(2022.01)G06V10/764(2022.01)G06V10/25(2022.01)G06V10/26(2022.01)权利要求书4页说明书9页附图2页(54)发明名称一种用于名优茶嫩芽采摘过程的定位方法(57)摘要本发明提供一种用于名优茶嫩芽采摘过程的定位方法，包括以下步骤：步骤a、制作原始数据集；步骤b、基于改进的YOLOv5网络模型进行训练；步骤c、获得三维点云并通过密度峰值聚类与簇间融合合并进行处理；步骤d、拟合嫩芽最小外接长方体，获得嫩芽的位置与采摘点。该定位方法能够快速有效的实现对名优茶嫩芽的精准识别定位，从而提高采摘效率、降低采摘成本。CN115187803ACN115187803A权利要求书1/4页1.一种用于名优茶嫩芽采摘过程的定位方法，其特征在于：包括以下步骤：步骤a：制作名优茶嫩芽的原始数据集；步骤b：基于改进的YOLOv5网络模型对步骤a中的数据集进行训练；步骤c：基于步骤b中的训练结果，获得三维点云；再依次通过密度峰值聚类与簇间融合合并完成三维点云的聚类及噪声点的去除，获得嫩芽三维点云；步骤d：基于嫩芽三维点云，拟合嫩芽最小外接长方体，获得嫩芽的位置与采摘点。2.根据权利要求1所述的一种用于名优茶嫩芽采摘过程的定位方法，其特征在于：所述步骤a具体为：步骤a1：使用RGB‑D相机近距离采集不同尺寸、不同天气状态下的名优茶图像；步骤a2：将步骤a1中的名优茶图像进行筛选与清理，挑选出名优茶清晰、明确的图像，从而获得名优茶的彩色图像与深度图像数据；步骤a3：采用Labelimg标注工具对彩色图像进行标注，获得嫩芽数据集；步骤a4：将步骤a3中的嫩芽数据集划分为训练集、测试集与验证集。3.根据权利要求1或2所述的一种用于名优茶嫩芽采摘过程的定位方法，其特征在于：所述步骤b具体为：步骤b1：对步骤a4中的训练集进行预处理，从而统一训练集中图像的分辨率；并将预处理后的图像数据输入到YOLOv5网络模型中的Backbone模块，获得不同尺寸的特征图；步骤b2：将步骤b1获得的不同尺寸的特征图输入到YOLOv5网络模型中的Neck模块中，并在Neck模块中采用双向特征金字塔网络替代原有的路径聚合网络进行多特征融合；然后对特征图依次进行上采样、下采样，及通过通道注意力机制的拼接产生多种尺寸的特征图，并输入到YOLOv5网络模型中的Head模块中；步骤b3：通过多种损失函数进行反向传播，对步骤b2中的模型的梯度进行更新、调节权重参数；步骤b4：采用测试集与验证集进行验证，获得改进的YOLOv5网络模型。4.根据权利要求3所述的一种用于名优茶嫩芽采摘过程的定位方法，其特征在于：所述步骤c中获得三维点云的具体步骤为：步骤c1：基于步骤b4中改进的YOLOv5网络模型的结果，获得检测框坐标，从而生成与彩色图像对应的深度图像的感兴趣区域；然后根据深度图像的像素坐标与彩色图像的像素坐标之间的映射，结合深度图像的坐标值、像素值及记录距离，获得对应映射的彩色图像坐标；步骤c2：通过步骤c1中彩色图像坐标与深度图像坐标之间的融合，获得三维点云，具体为：2CN115187803A权利要求书2/4页式中，表示三维点云的坐标系；表示彩色图像的坐标系；D表示深度值、通过深度图像获得；fx、fy表示相机焦距。5.根据权利要求3或4所述的一种用于名优茶嫩芽采摘过程的定位方法，其特征在于：所述步骤c中密度峰值聚类具体为：步骤c1‑1：采用欧氏距离度量，完成步骤c2中三维点云的K近邻搜索，获得点云KNN；点云KNN中由近至远进行近邻排序，即距离越近、排序越靠前；步骤c1‑2：根据步骤c1‑1中点云KNN计算点云数据的密度值，具体为：式中，ρi表示第i个点云数据的密度值；K表示点云KNN中近邻个数、为定值；dij表示第i个点云数据与第j近邻的距离；步骤c1‑3：遍历点云KNN，对于每个点云数