一种控制机械臂抓取物体的方法及装置.pdf

(19)中华人民共和国国家知识产权局(12)发明专利申请(10)申请公布号CN109407603A(43)申请公布日2019.03.01(21)申请号201710700003.X(22)申请日2017.08.16(71)申请人北京猎户星空科技有限公司地址100041北京市石景山区实兴大街30号院3号楼2层A-2570房间(72)发明人马星辰(74)专利代理机构北京柏杉松知识产权代理事务所(普通合伙)11413代理人项京马敬(51)Int.Cl.G05B19/05(2006.01)B25J19/02(2006.01)权利要求书3页说明书15页附图3页(54)发明名称一种控制机械臂抓取物体的方法及装置(57)摘要本发明实施例提供了一种控制机械臂抓取物体的方法及装置，所述方法包括：获取摄像头采集的目标物体当前时刻的目标图像；将目标图像输入预先训练完成的目标卷积神经网络，得到目标图像对应的标签；判断目标图像对应的标签是否与预设结束标签相同；如果否，根据预设的标签与运动方向的对应关系，确定目标图像对应的标签所对应的目标运动方向；控制机械臂按照目标运动方向及预设距离移动，并返回获取目标物体当前时刻的目标图像的步骤；如果是，控制机械臂抓取所述目标物体。由于在抓取目标物体时采用步进的方式，即使在抓取过程中目标物体的位置发生改变，机械臂也可以准确抓取目标物体，提高了机械臂抓取物体的准确率和成功率。CN109407603ACN109407603A权利要求书1/3页1.一种控制机械臂抓取物体的方法，其特征在于，应用于与所述机械臂通信连接的控制设备，所述机械臂上安装有摄像头，所述方法包括：获取所述摄像头采集的目标物体当前时刻的目标图像；将所述目标图像输入预先训练完成的目标卷积神经网络，得到目标图像对应的标签，其中，所述目标卷积神经网络为：基于图像样本及其对应的标签，对预先构建的初始卷积神经网络进行训练所得到的卷积神经网络，所述目标卷积神经网络包含所述图像样本的图像特征与标签的对应关系，所述标签用于标识所述机械臂与所述目标物体的相对位置关系；判断所述目标图像对应的标签是否与预设结束标签相同；如果否，根据预设的标签与运动方向的对应关系，确定所述目标图像对应的标签所对应的目标运动方向；控制所述机械臂按照所述目标运动方向及预设距离移动，并返回所述获取目标物体当前时刻的目标图像的步骤；如果是，控制所述机械臂抓取所述目标物体。2.如权利要求1所述的方法，其特征在于，所述目标卷积神经网络的训练方式，包括：构建初始卷积神经网络；获取所述摄像头采集的所述目标物体的多个图像样本；根据采集每个图像样本时，所述机械臂的位置信息及所述目标物体的位置信息，按照预设标签生成规则，确定每个图像样本对应的标签；将所述图像样本及其对应的标签输入所述初始卷积神经网络进行训练；当所述初始卷积神经网络的目标函数的值不再变化或所述图像样本对应的输出结果的准确率达到预设准确率时，完成训练，得到所述包含所述图像样本的图像特征与标签的对应关系的目标卷积神经网络。3.如权利要求2所述的方法，其特征在于，所述目标物体的位置信息表示为(x1，y1，z1)，所述机械臂的位置信息表示为(x2，y2，z2)；所述根据采集每个图像样本时，所述机械臂的位置信息及所述目标物体的位置信息，按照预设标签生成规则，确定每个图像样本对应的标签的步骤，包括：根据采集每个图像样本时，所述机械臂的位置信息中x2与所述目标物体的位置信息中x1的大小关系、y2与y1的大小关系以及z2与z1的大小关系，按照预设标签生成规则，确定每个图像样本对应的标签。4.如权利要求3所述的方法，其特征在于，所述预设标签生成规则包括：当所述机械臂的位置信息及所述目标物体的位置信息满足预设组合条件时，生成该预设组合条件对应的标签，其中，所述预设组合条件为第一组预设条件中任一条件、第二组预设条件中任一条件及第三组预设条件中任一条件的组合，所述第一组预设条件包括：|x2-x1|不大于预设值、|x2-x1|大于预设值且x2＞x1及|x2-x1|大于预设值且x2＜x1三种条件，所述第二组预设条件包括：|y2-y1|不大于预设值、|y2-y1|大于预设值且y2＞y1及|y2-y1|大于预设值且y2＜y1三种条件,所述第三组预设条件包括：|z2-z1|不大于预设值、|z2-z1|大于预设值且z2＞z1及|z2-z1|大于预设值且z2＜z1三种条件。5.如权利要求2所述的方法，其特征在于，所述获取所述摄像头采集的所述目标物体的多个图像样本的步骤，包括：2CN109407603A权利要求书2/3页将所述目标物体放置于预设位置；改变所述机械臂的位置；获取所述摄像头在所述机械臂处于每一位置时所采集的所述目标物体的图像样本。6.如权利要求1-5任一项所述的方法，其特征在于，当所