一种基于局部轮廓的机械臂视觉伺服目标识别方法.pdf

(19)中华人民共和国国家知识产权局(12)发明专利申请(10)申请公布号CN110766750A(43)申请公布日2020.02.07(21)申请号201910849793.7(22)申请日2019.09.09(71)申请人浙江大学地址310058浙江省杭州市西湖区余杭塘路866号(72)发明人冯毅雄景琛宁高一聪(74)专利代理机构杭州求是专利事务所有限公司33200代理人林超(51)Int.Cl.G06T7/73(2017.01)G06T7/246(2017.01)G06T7/13(2017.01)权利要求书3页说明书7页附图7页(54)发明名称一种基于局部轮廓的机械臂视觉伺服目标识别方法(57)摘要本发明公开了一种基于局部轮廓的机械臂视觉伺服目标识别方法。通过机械臂侧方的摄像机拍摄目标零件的图像作为模板图像；对模板图像进行轮廓局部分解操作；通过机械臂侧方的摄像机实时拍摄待测零件的图像；以当前每一帧图像作为采集图像进行处理识别，对采集图像进行兴趣域划分和对象匹配操作；在采集图像中标记识别出成功匹配的目标零件，并将目标零件在图像中的位置输出给机械臂的视觉伺服控制系统，进而控制机械臂的实时运动追踪。本发明针对机械臂末端抓手的特征，对抓取过程中张合状态不定的机械臂末端抓手进行准确识别，对于目标对象局部平移或旋转变形具有好的鲁棒性，并满足机械臂视觉伺服的实时性要求。CN110766750ACN110766750A权利要求书1/3页1.一种基于局部轮廓的机械臂视觉伺服目标识别方法，其特征在于步骤如下：第一步，通过机械臂侧方的摄像机拍摄目标零件的图像作为模板图像；第二步，对模板图像进行轮廓局部分解操作；第三步，通过机械臂侧方的摄像机实时拍摄待测零件的图像；第四步，以当前每一帧图像作为采集图像进行处理识别，对采集图像进行兴趣域划分和对象匹配操作；第五步，在采集图像中标记识别出成功匹配的目标零件，并将目标零件在图像中的位置输出给机械臂的视觉伺服控制系统，进而控制机械臂的实时运动追踪。2.根据权利要求1所述的一种基于局部轮廓的机械臂视觉伺服目标识别方法，其特征在于：所述第二步，具体如下：2.1、模板轮廓提取采用Canny算法对模板图像处理检测边缘，选择最外层且包络范围最大的边缘作为模板轮廓，边缘上的像素点组成了轮廓点集；2.2、连续直线段拟合轮廓2.2.1、首先，从轮廓点集中随机选择一个点pi(xi,yi)作为处理点并设定采样范围阈值δ，将轮廓上满足|xi-xj|<δ且|yi-yj|<δ的所有点pj(xj,yj)构成方向集S(D)，以处理点连接方向集S(D)中各个点获得各条拟合直线li；2.2.2、然后，针对轮廓上的每个点，筛选获得与拟合直线li之间的垂直距离小于距离误差阈值τ的点作为局内点，组成局内点集S(li)作为拟合直线li的一致集；2.2.3、接着，进行上述操作对每条拟合直线li进行处理得到各条拟合直线l1,l2,…,ln和各自对应的一致集S(l1),S(l2),…,S(ln)，将包含局内点数最多的一致集作为最大一致集，求取最大一致集的最佳拟合直线，并作为该轮廓点集的最佳拟合直线lb；2.2.4、最后，找到拟合直线lb在轮廓上能拟合的最大连续点集，轮廓点集中将除最大连续点集首末两端点以外的点均移除，仅保留最大连续点集首末两端点；2.2.5、重复上述步骤2.2.1～2.2.4不断对轮廓点集进行处理，直到轮廓点集上的点均被拟合或达到最大循环次数；2.3、内凹角点检测2.3.1、首先，创建判据图，即将步骤2.2获得的轮廓绘制在纯黑色背景中，并将轮廓及内部的包围部分用白色绘制，作为判据图；2.3.2、然后，初始选定轮廓点集中的任一个点作为待检测点pt，在轮廓点集中选取与待检测点pt前后相邻的两个点作为判据点p1、p2，连接两个判据点p1、p2获得线段p1p2，在线段p1p2上随机挑选n个像素点，作为采样点ps1,ps2,…,psn；2.3.3、判断每一个采样点在图像上的像素值，若为255则判断该采样点在轮廓中；若为0则判断该采样点在轮廓外；若所有采样点ps1,ps2,…,psn均在轮廓外，则判断待检测点pt为内凹角点并进行标记；2.3.1、最后，将轮廓点集中待检测点pt的下一个点作为新的待测点pt，回到2.3.2重复上述操作，直到遍历轮廓点集上的所有点；2.4、轮廓切点筛选选取轮廓的内凹角点pi，在轮廓点集中提取与内凹角点pi相邻的两个点pi-1和pi+1，以内2CN110766750A权利要求书2/3页凹角点pi为顶点，计算三个点pi-1、pi、pi+1构成的夹角大小作为内凹角点的顶角；遍历所有内凹角点，顶角小于设定夹角阈值ω的内凹角点作为轮廓切点，然后利用轮廓切点分解轮廓，分为若干段局部轮廓。3.根据权利要求1所述的一种基于局部轮廓的机