一种基于平面视觉引导机械臂的抓取方法.pdf

(19)国家知识产权局(12)发明专利申请(10)申请公布号CN115922695A(43)申请公布日2023.04.07(21)申请号202211372629.X(22)申请日2022.11.03(71)申请人广州市新豪精密科技有限公司地址511335广东省广州市增城区仙村镇岳湖村上围朱仙路8号(72)发明人胡进杰张颂哲练洪威杨焯荣曾广胜吴凯平(74)专利代理机构广州博联知识产权代理有限公司44663专利代理师王洪江(51)Int.Cl.B25J9/16(2006.01)权利要求书2页说明书4页附图2页(54)发明名称一种基于平面视觉引导机械臂的抓取方法(57)摘要本发明提供一种基于平面视觉引导机械臂的抓取方法，包括将零件放置于机械手抓取的区域内，然后利用相机拍摄机械手抓取的区域的图像并对图像进行灰度化处理；对图像进行数据类型转换，然后将图像与背景图像的像素值相减，并取绝对值，并保存相减后的图像；进行降噪、二值化处理、黑白取反处理，进行轮廓外包得到轮廓相对于图像坐标系的中心点坐标，以及轮廓的偏转角度；计算零件轮廓在工具坐标系下的坐标与旋转角并发送给机械臂，引导机械臂完成抓取零件。本发明通过准确识别需要抓取的零件坐标和旋转角引导机械臂动作，最终实现零件的准确抓取；本发明可以对抓取区域内的零件进行检测，对零件的摆放要求低，识别速度快、抓取效率。CN115922695ACN115922695A权利要求书1/2页1.一种基于平面视觉引导机械臂的抓取方法，其特征在于，包括以下步骤：S1)、将零件放置于机械手抓取的区域内，然后利用相机拍摄机械手抓取的区域的图像X1；S2)、将获取的具有零件的机械手抓取的区域的图像X1进行灰度化处理，得到灰度化处理的图像X2；S3)、利用OpenCV的astype()函数对步骤S2)中灰度化处理的图像X2与灰度化处理的机械手抓取区域的背景图像M1进行数据类型转换，然后将图像X2与背景图像M1的像素值相减，并取绝对值，并保存相减后的图像X3；其中，图像X2与背景图像M1的像素值相减后的绝对值为0的部分作为机械手抓取区域的背景，图像X2与背景图像M1的像素值相减后的绝对值不为0的部分为零件；S4)、利用OpenCV的形态学函数morphologyEx()对步骤S3)中处理后的图像X3进行降噪处理，并利用threshold()函数进行二值化处理与黑白取反处理，最终得到零件的像素部分图像X4；S5)、利用OpenCV的findContours()函数对步骤S4)中处理的图像X4进行轮廓外包，并得到轮廓相对于图像坐标系的中心点坐标(xtag,ytag)，以及轮廓的偏转角度θr；S6)、计算零件的像素部分图像X4轮廓在工具坐标系下的坐标(Xtag,Ytag)与旋转角θtag；S7)、将得到的坐标(Xtag,Ytag)与旋转角θtag发送给机械臂，引导机械臂完成抓取零件。2.根据权利要求1所述的一种基于平面视觉引导机械臂的抓取方法，其特征在于：在步骤S1)前，还包括以下步骤：在放置零件前，先利用相机拍摄没有零件的机械手抓取的区域的图像，并对图像进行灰度处理，并将灰度化处理后的图像作为背景图像M1，然后保存灰度化处理后的图片，其中，灰度化处理如下：Gray＝0.299*R+0.587*G+0.114*B。3.根据权利要求2所述的一种基于平面视觉引导机械臂的抓取方法，其特征在于：在步骤S1)前包括以下：通过在相机拍照区域内任意确认一点作为工具坐标系的原点，且所述的工具坐标系的原点应该选在机械手抓取区域外，以及通过机械臂建模方法确定机械臂的基坐标系，并利用示教器读取工具坐标系的原点在基坐标系下的坐标点(Xtool，Ytool)。4.根据权利要求1所述的一种基于平面视觉引导机械臂的抓取方法，其特征在于：步骤S2)中，对相机拍摄的图像X1进行灰度化处理的公式为：Gray＝0.299*R+0.587*G+0.114*B。5.根据权利要求1所述的一种基于平面视觉引导机械臂的抓取方法，其特征在于：步骤S4)中，所述的降噪处理具体包括以下步骤：利用OpenCV的形态学函数morphologyEx()对步骤S3)中处理后的图像X3对进行5*5的中值滤波，并定义一个数据核大小，对中值滤波后的图片进行形态学闭运算处理。6.根据权利要求5所述的一种基于平面视觉引导机械臂的抓取方法，其特征在于：步骤S4)中，所述的二值化处理是指：将图像中像素值大于127的将变成255，像素值低于127的则变成0。7.根据权利要求6所述的一种基于平面视觉引导机械臂的抓取方法，其特征在于：步骤S4)中，所述的黑白取反处理是指将像素值为255的点变成0，像素值为0的点变为255；其中，2CN115922695A权利要求书2/2页像素点为255时，图像为纯黑色，像素点为