一种用于多臂采摘机器人的猕猴桃果实群多目标识别方法.pdf

(19)中华人民共和国国家知识产权局(12)发明专利申请(10)申请公布号CN108764076A(43)申请公布日2018.11.06(21)申请号201810461587.4(22)申请日2018.05.15(71)申请人西北农林科技大学地址712100陕西省咸阳市杨凌农业高新技术产业示范区邰城路3号(72)发明人崔永杰穆龙涛刘浩洲谷新运陈礼鹏张莎莎王周宇(51)Int.Cl.G06K9/00(2006.01)G06K9/62(2006.01)权利要求书1页说明书3页附图3页(54)发明名称一种用于多臂采摘机器人的猕猴桃果实群多目标识别方法(57)摘要本发明公开了一种用于多臂采摘机器人的猕猴桃果实群多目标识别方法，属于采摘机器人领域。包括：从底向上拍摄果实群，通过一个经训练的卷积神经网络对拍摄到的图像进行计算，识别出图像中的猕猴桃，并获取每个猕猴桃在图像上的位置信息。根据各个猕猴桃位置之间的距离远近关系对这些位置信息进行聚类，将距离相近的果实归为一个果实群，采摘机器人上有几个机械臂就聚类几个果实群，同一个果实群由同一个机械臂进行采摘，使机械臂之间的作业互不干涉。CN108764076ACN108764076A权利要求书1/1页1.一种用于多臂采摘机器人的猕猴桃果实群多目标识别方法,其特征在于：摄像头在猕猴桃果树底部从底向上拍摄果实群，通过一个经训练的卷积神经网络对拍摄到的图像进行计算，识别出图像中的猕猴桃，并获取每个猕猴桃在图像上的位置信息。2.根据权利要求1所述的一种用于多臂采摘机器人的猕猴桃果实群多目标识别方法，其特征在于，包括如下步骤：(1)将安装在猕猴桃采摘机器人上的摄像头调整在距离猕猴桃表面0.8-1.2米处，从底向上拍摄猕猴桃果实群，获取数百张猕猴桃果实群的RGB图像；(2)在计算机上对得到的图像进行预处理，标记出每幅图像中每一个果实的最小矩形区域，记录每个果实矩形区域的四点坐标；(3)在计算机上搭建一个卷积神经网络用于对猕猴桃的识别，该神经网络包含输入层、卷积层一、池化层一、卷积层二、池化层二、卷积层三、池化层三、全连接层、输出层、全连接一、全连接二、池化一、卷积一、池化二、卷积二、池化三和卷积三；(4)将之前预处理过的数百幅图像作为训练集，经卷积神经网络计算后的图像，输入卷积神经网络进行训练，网络模型对图像中包含果实部分的计算会修改网络的权值，最终使网络模型能够自动提取猕猴桃果实特征，实现对猕猴桃果实的识别；(5)练好模型后，将其部署到采摘机器人上，在进行采摘作业前，机器人会对上方的果实进行拍摄，训练好的卷积神经网络模型会通过选择性区域搜索法识别拍摄图像中所有猕猴桃果实，并获取其在图像上的坐标；(6)对所有果实的坐标进行K-means均值聚类，经卷积神经网络计算并聚类果实位置信息后的图像，聚类的类别数是采摘机器人机械臂的数量，这样可以根据果实之间的距离远近关系使距离相近的果实归为一类，被归为一类的果实由同一个机械臂采摘，不同机械臂采摘不同类的果实,一号机械臂采摘工作区域、二号机械臂采摘工作区域、三号机械臂采摘工作区域、四号机械臂采摘工作区域，这样实现了多机械臂间不同机械臂的工作区域和目标的分配，使之协调作业，这种方法为不同机械臂划分了各自互不干涉的工作区域；(7)每个机械臂在获得自己的作业区域和目标后，根据目标果实的坐标，摘取果实。2CN108764076A说明书1/3页一种用于多臂采摘机器人的猕猴桃果实群多目标识别方法技术领域[0001]本发明为一种用于多臂采摘机器人的猕猴桃果实群多目标识别方法，属于采摘机器人领域，具体的说是采用了卷积神经网络识别果实，通过对果实位置信息的聚类来识别果实群，划分各机械臂的采摘区域，从而实现多臂采摘机器人的信息感知以实现多臂协同作业。背景技术[0002]猕猴桃果实的采摘是劳动密集型工作，是果树生产中最耗时、费力的环节，采摘作业影响到后续的加工、储存及销售。目前在我国，这些作业基本由人工完成。随着科学技术的发展，越来越多的行业开始出现了由机器人代替人工进行高重复性的劳动，而我国农业也朝着机械化、自动化的方向发展，果园中的采摘机器人可能会逐步代替一部分人工工作。[0003]在采摘机器人的各部分系统中，果实信息感知系统是采摘机器人的关键部分，为提高采摘效率，采摘机器人普遍采用多臂协同采摘果实的方式，这就要求机器人必须具备可以进行果实群多目标识别的能力，并且有为机器人划分上各机械臂采摘作业范围的方法，以实现各臂之间的协作。发明内容[0004]针对上述问题，本发明提供了一种用于多臂采摘机器人的猕猴桃果实群多目标识别方法。[0005]本发明是通过以下技术方案实现的：(1)将安装在猕猴桃采摘机器人上的摄像头调整在距离猕猴桃表面0.8-1.2米处，从底向上拍摄猕猴桃果实群，获取数百张猕猴桃