基于深度学习与多维信息融合聚类的果实采摘点识别方法.pdf

(19)国家知识产权局(12)发明专利申请(10)申请公布号CN114842337A(43)申请公布日2022.08.02(21)申请号202210452246.7(22)申请日2022.04.27(71)申请人大连理工大学地址116024辽宁省大连市甘井子区凌工路2号(72)发明人王东秦浩然潘青慧连捷(74)专利代理机构大连星河彩舟专利代理事务所(普通合伙)21263专利代理师陈玲玉(51)Int.Cl.G06V20/10(2022.01)G06V10/25(2022.01)G06V10/34(2022.01)G06V10/762(2022.01)权利要求书4页说明书9页附图4页(54)发明名称基于深度学习与多维信息融合聚类的果实采摘点识别方法(57)摘要本发明提出基于深度学习与多维信息融合聚类的果实采摘点识别方法。首先Yolo算法识别目标采摘果实，并确定目标采摘果实的采摘点感兴趣区。然后对感兴趣区的深度图像进行孔洞填充和空间边缘保留滤波处理，选取预处理后的深度信息以及筛选后的彩色图像颜色分量，自适应融合组成多个维度的数据样本。使用上述数据样本对采摘点感兴趣区进行基于K‑means的聚类，最后经过形态学处理中的去除小面积连通区域、开运算、图像细化，实现了对果梗的准确识别，并根据果梗信息定位果实采摘点。通过采用以上多种方法联合识别，提高了算法的准确率和鲁棒性，为农业采摘机器人提供了可靠的采摘点位置信息。CN114842337ACN114842337A权利要求书1/4页1.基于深度学习与多维信息融合聚类的果实采摘点识别方法，其特征在于，包括步骤如下：步骤1：采摘机器人选取目标采摘果实；采摘机器人到达采摘位置后，深度相机采集目标采摘区域的图像，包括彩色图像和深度图像；选取彩色图像中置信度最高的果实作为目标采摘果实；获取目标采摘果实识别框坐标，其中左上角坐标是(xmin,ymin)，右下角坐标是(xmax,ymax)；步骤2：获取果实采摘点感兴趣区；根据步骤1中识别框坐标，求目标采摘果实在已采集图像中的宽度wobject，高度hobject；设定采摘点感兴趣区ROI的宽度wROI，高度hROI；及采摘点感兴趣区ROI的左上角坐标，确保涵盖整个果梗结构；步骤3：对深度图像进行预处理；消除噪声，保留边缘；步骤4：将采摘点感兴趣区多维信息融合聚类，实现果实与枝作为目标类，叶与空白区域作为背景类；所述聚类过程中：步骤4.1，将采摘点感兴趣区的像素点作为聚类数据样本X，包含N个对象X＝{X1,X2,X3,…XN}，其中N为采摘点感兴趣区像素点数量；选取颜色空间以及对彩色图像分割有效颜色分量；每个对象具有多个有效颜色分量及深度图像的灰度信息的多维度属性；所述有效颜色分量的颜色直方图中，目标类和背景类呈现双峰分布；步骤4.2，定义深度信息自适应权重系数λ，λ能够实现根据不同果实的采摘环境，感兴趣区分割时依赖深度信息程度的不同，做出适应性的调整；步骤4.3，利用基于K‑means的聚类算法，结合乘以自适应权重系数λ的深度信息，得到聚类结果；步骤4.4，定义一个与采摘点感兴趣区相同尺寸的单通道图像用于接收聚类结果，此时图像中的像素点已分为两类，并将聚类结果图转化为二值图像；步骤5：对二值图像进行形态学处理，得到细化图像；步骤6：遍历细化图像的像素点，找到果梗的上、下端点；确定采摘点感兴趣区中采摘点坐标，再将此坐标转换至初始彩色图像的位置；读取深度相机内参计算该点的深度值z；根据手眼标定得到的坐标转换关系，最终得到机械臂基坐标系下的果实采摘点(x,y,z)。2.根据权利要求1所述的基于深度学习与多维信息融合聚类的果实采摘点识别方法，其特征在于，所述步骤1中采用Yolo算法识别采摘区域的彩色图像中符合成熟度要求的果实，获取识别框坐标。3.根据权利要求1所述的基于深度学习与多维信息融合聚类的果实采摘点识别方法，其特征在于，所述步骤2中目标采摘果实在已采集图像中的宽度wobject，高度hobject如式(1)、(2)所示：wobject＝xmax‑xmin(1)hobject＝ymax‑ymin(2)根据果实的生长形态设置合适的采摘点感兴趣区尺寸，确保感兴趣区能够包含完整的果梗，且满足步骤4中目标类像素面积小于背景类像素面积；设定采摘点感兴趣区ROI的宽度wROI，高度hROI如式(3)(4)所示：wROI＝g1*wobject(3)2CN114842337A权利要求书2/4页hROI＝g2*hobject(4)其中g1,g2是常数；采摘点感兴趣区设置在目标采摘果实的上方区域，若超出图像边界，则将感兴趣区边界设置在初始采集图像边界处。4.根据权利要求1所述的基于深度学习与多维信息融合聚类的果实采摘点识别方法，其特征在于，步骤3对深度图像进行预处理，具体包括