基于机器视觉深度信息的茶蓬刀具调节方法及采茶系统.pdf

(19)国家知识产权局(12)发明专利申请(10)申请公布号CN115328019A(43)申请公布日2022.11.11(21)申请号202210959463.5G06V20/40(2022.01)(22)申请日2022.08.10(71)申请人四川省农业机械研究设计院地址610000四川省成都市锦江区二环路东4段牛沙路5号(72)发明人易文裕王攀熊昌国耿胤周彦君邓佳(74)专利代理机构成都海成知识产权代理事务所(普通合伙)51357专利代理师庞启成(51)Int.Cl.G05B19/19(2006.01)A01D46/04(2006.01)G06V10/147(2022.01)G06V10/44(2022.01)权利要求书2页说明书6页附图4页(54)发明名称基于机器视觉深度信息的茶蓬刀具调节方法及采茶系统(57)摘要本发明涉及机器视觉的自动化控制技术领域，基于机器视觉深度信息的茶蓬刀具调节方法及采茶系统，所述的基于机器视觉深度信息的茶蓬刀具调节方法包括：步骤S1、固定深度相机位置，步骤S2、获取茶叶采取长度和步骤S3、调整刀具位姿状态，本申请的茶蓬刀具调节方法，在采茶设备运行过程中利用深度相机随时记录并收集整理相机与茶蓬之间的相对距离，然后将其转化为茶叶实时长度，以此判断刀具与茶蓬的距离能否使切割出来的茶叶长度处于允许的长度范围内，并根据判断结果实时调整刀具的高度和偏转角度，使得切割出来的茶叶的长度始终位于合理的区间，从而保证茶园作业的稳定性，保证刀具最佳切入深度以实现茶蓬的最优采摘。CN115328019ACN115328019A权利要求书1/2页1.基于机器视觉深度信息的茶蓬刀具调节方法，其特征在于：包括以下步骤：步骤S1、固定深度相机位置：固定深度相机与采茶设备之间的相对位置，并且获取深度相机与刀具之间的相对位置数据；步骤S2、获取茶叶采取长度：利用深度相机获取刀具处茶蓬的视频帧，所述视频帧的数据为包括有深度信息的三维空间数据，并通过所述视频帧的数据计算得出刀具的刀刃边缘至茶蓬顶之间的距离，所述刀具的刀刃边缘至茶蓬顶之间的距离为茶叶采取长度，步骤S3、调整刀具位姿状态：将步骤S2中所述茶叶采取长度与预期茶叶长度相比较，对所述刀具的位置位姿状态进行调整，使所述茶叶采取长度满足茶叶预期长度的要求，所述刀具的位置位姿状态调整包括对所述刀具进行上升和下降的调整，在所述步骤S3中，所述刀具的位置位姿状态调整包括下述步骤：设相机到刀具最高点的竖向距离为anear，相机到茶蓬最高点的竖向距离为lnear，所述茶叶采取长度＝anear‑lnear，设茶叶合格的最小长度为b1和茶叶合格的最大长度b2，若anear‑lnear∈[b1，b2]，刀具高度保持不变；若anear‑lnear＞b2，向上提升所述刀具，使anear‑lnear∈[b1，b2]；若anear‑lnear＜b1，向下降低所述刀具，使anear‑lnear∈[b1，b2]。2.如权利要求1所述的基于机器视觉深度信息的茶蓬刀具调节方法，其特征在于：在所述步骤S3中，先设置所述刀具的初始偏斜角度θ，使刀具可实现茶蓬的局部区域采取。3.如权利要求2所述的基于机器视觉深度信息的茶蓬刀具调节方法，其特征在于：所述刀具的位置位姿状态调整还包括对所述刀具倾斜角度的调整，设：相机到刀具最远端位置为afar，afar＝d‑S·sinθ，刀具最远端所对应的茶蓬到相机的距离为lfar，其中，d为相机到最近端刀具的竖向高度，S为刀具臂展；若anear‑lnear∈[b1，b2]，且afar‑lfar＜b1，则使刀具向下倾斜，刀具的下斜角度为β1，β1＝α1+θ，其中，若anear‑lnear＜b1，且afar‑lfar∈[b1，b2]，则使刀具向上倾斜，刀具的上斜角度β2，β2＝α2+θ，其中，4.如权利要求3所述的基于机器视觉深度信息的茶蓬刀具调节方法，其特征在于：在所述步骤S2中，通过所述视频帧的数据计算得出刀具的刀刃边缘至茶蓬顶之间的距离包括下述步骤：利用计算机视觉和机器学习模型将所述视频帧的数据和深度相机的设定参数和相机的位置参数，转换为带有深度信息的矩阵，建立像素坐标系与相机坐标系间的关系为：其中，u值和v值分别为目标像素点c在像素坐标系上U轴和V轴的值，2CN115328019A权利要求书2/2页XC、YC、ZC分别为目标像素点在相机坐标系上的X轴、Y轴和Z轴上的值，fx，fy为深度相机焦距f在像素坐标系上X轴和Y轴上的分量，cx，cy为目标像素点在相机光轴在x方向和y方向上的偏移量，其中fx，fy，cx，cy为深度相机的内置参数，计算得到茶蓬在当前相机坐标系的高度：对Y′进行坐标转换，坐标转换矩阵为：计算得到Y值，Y为茶蓬相对于相机的高度。5.如权利要求4所述的基于机器视觉深