一种基于计算机视觉的机械臂抓取方法.pdf

(19)中华人民共和国国家知识产权局(12)发明专利申请(10)申请公布号CN113822946A(43)申请公布日2021.12.21(21)申请号202111173816.0G06T5/30(2006.01)(22)申请日2021.10.09G06T5/40(2006.01)B25J9/16(2006.01)(71)申请人上海第二工业大学地址201209上海市浦东新区金海路2360号(72)发明人张洋周艳军李荷华郝皓(74)专利代理机构上海天翔知识产权代理有限公司31224代理人严义秀(51)Int.Cl.G06T7/80(2017.01)G06T7/13(2017.01)G06T7/73(2017.01)G06T7/77(2017.01)G06T5/10(2006.01)权利要求书3页说明书6页附图1页(54)发明名称一种基于计算机视觉的机械臂抓取方法(57)摘要本发明涉及一种基于计算机视觉的机械臂抓取方法，本发明使用的是深度双目传感摄像头和优傲机械臂。该方法分为两个阶段，阶段一利用了特征提取和立体匹配技术进行物体识别和定位，阶段二则根据阶段一获取的空间坐标建立机械臂运动轨迹，实现物体抓取。实验表明，该方法识别率高达99.55％、抓取率99％，在工程应用及物流仓储管理领域具有较好的应用前景。CN113822946ACN113822946A权利要求书1/3页1.一种基于计算机视觉的机械臂抓取方法，其特征在于：所述基于计算机视觉的机械臂抓取方法包括如下步骤：步骤1：采用张氏标定法根据成像原理获取深度双目传感摄像头内外参数；步骤2：对机械臂进行手眼标定，采用眼在手外模式，确定基坐标系与世界坐标系的转换方式；步骤3：通过深度双目传感摄像头完成图像采集，获取左右视图；步骤4：对左右视图依次进行中值滤波、高斯滤波、均值滤波；步骤5：利用尺度不变特征转换图像匹配算法进行匹配，具体包括：首先对基准物件和待抓取物体构建尺度空间，然后进行尺度不变特征转换算法特征点和边缘检测，接着将边缘检测的的边缘点删除，并通过确定特征点的主方向实现特征点匹配，最后采用随机抽样一致算法删除离群匹配对，实现待抓取物体的匹配，完成物件识别；步骤6：确定待抓取物件的形心坐标，具体包括：首先对左右视图进行图像增强，然后进行边缘检测和形态学处理，接着确定待抓取物件区域，最后算出待抓取物件的形心位置；步骤7：实现空间三维重建，具体包括：依次利用步骤1获取的摄像头内外参数和步骤2的坐标转换公式实现空间坐标转换；步骤8：利用机器人操作系统下的初始化工具包调用优傲机械臂，设置运动学求解器和运动规划库，实现机械臂建模；步骤9：读取基于机械臂底座的空间坐标；步骤10：利用机器人操作系统下的机械臂控制模块根据步骤9确定的空间坐标规划机械臂路径，发布机械臂运动序列进行物件抓取和放置；步骤11：再次初始化机械臂，末端执行器归位。2.根据权利要求1所述的基于计算机视觉的机械臂抓取方法，其特征在于：步骤1的具体步骤如下：根据相机成像原理，直接获取的图像会受到相机镜头畸变的影响；采用棋盘标定板进行标定，获取左右相机内外参。3.根据权利要求1所述的基于计算机视觉的机械臂抓取方法，其特征在于：步骤2的具体步骤如下：手眼标定求取相机坐标系与机械臂坐标系之间的转换关系，同样采用步骤1中使用的棋盘标定板，将标定板固定在机械臂末端；在保持二者的位姿的前提下，不断移动机械臂，获得不同位置下的标定板照片，记录各照片对应位姿下参数和摄像机外参；从而确定机械臂下标定板的变换矩阵。4.根据权利要求1所述的基于计算机视觉的机械臂抓取方法，其特征在于：步骤4的具体步骤如下：对获取的左右视图，依次进行中值滤波、高斯滤波、均值滤波；其中，中值滤波是用像素点(x，y)邻域灰度值的中值代替该像素的灰度值，核函数为：g(x，y)＝Mida，b{f(x‑a，y‑b)}式中，m，n为以像素点(x，y)建立的矩阵区域的长宽；高斯滤波是通过设置像素点的邻域区域和卷积核，将邻域像素点与卷积核对应值进行甲醛，其中卷积核2CN113822946A权利要求书2/3页函数为：式中σ为高斯函数宽度的参数；均值滤波则利用邻域中像素点的灰度均值代替中心点，核函数为：5.根据权利要求1所述的基于计算机视觉的机械臂抓取方法，其特征在于：步骤5的具体步骤如下：首先利用高斯卷积和函数建立尺度空间：式中H(x，y)为输入的图像；然后检测极值点，通过尺度空间构建高斯金字塔，高斯模型为：D(x，y，σ)＝L(x，y，kσ)‑L(x，y，σ)式中k为比例系数；接着定位特征点和分配特征点方向，通过求取上式的高斯模型极值，排除低对比点定位特征点，为进一步保证算法，通过精度梯度直方图对特征点进行统计，像素点梯度为：像素点幅值为：梯度方向为：最后建立描述子和特征点匹配，计算