基于3D视觉的机器人自动抓取系统及方法.pdf

(19)中华人民共和国国家知识产权局(12)发明专利申请(10)申请公布号CN114193440A(43)申请公布日2022.03.18(21)申请号202210003442.6(22)申请日2022.01.04(71)申请人中船重工鹏力（南京）智能装备系统有限公司地址211106江苏省南京市江宁开发区长青街32号(72)发明人陆坤葛楼云鲁小翔张瑞(74)专利代理机构南京苏高专利商标事务所(普通合伙)32204代理人张婧(51)Int.Cl.B25J9/08(2006.01)B25J9/16(2006.01)B25J15/08(2006.01)B25J19/02(2006.01)权利要求书3页说明书10页附图3页(54)发明名称基于3D视觉的机器人自动抓取系统及方法(57)摘要本发明公开了一种基于3D视觉的机器人自动抓取系统及方法，包括抓取机器人向工控机发送请求数据指令，工控机接收请求数据指令判断是否缓存有处理结果，有则返回处理结果至抓取机器人，没有则控制3D相机拍照；工控机接收到抓取机器人的拍照指令则控制3D相机拍照；工控机接收原始三维点云数据，判断是否拍到目标零件；若拍到目标零件则基于原始三维点云数据，再进行点云处理计算得到零件空间位姿数据和状态信息，并缓存为处理结果；若未拍到目标零件则判断零件是否全部抓取完成，得到零件空间位姿数据和状态信息，并缓存为处理结果；抓取机器人根据处理结果，抓取零件、输出拍照指令和更换料框指令。本发明具有抓取成功率高和节拍快的优点。CN114193440ACN114193440A权利要求书1/3页1.一种基于3D视觉的机器人自动抓取方法，其特征在于，包括如下步骤：抓取机器人向工控机发送请求数据指令，工控机接收抓取机器人的请求数据指令，工控机判断是否缓存有处理结果，有则返回处理结果至抓取机器人，没有则控制3D相机拍照；工控机接收到抓取机器人的拍照指令则控制3D相机拍照；工控机接收3D相机返回的原始三维点云数据，基于原始三维点云数据，判断是否拍到目标零件；若拍到目标零件则基于目标零件的原始三维点云数据，再进行点云处理计算得到零件空间位姿数据和状态信息，并缓存为处理结果；若未拍到目标零件则另外判断零件是否全部抓取完成，得到零件空间位姿数据和状态信息，并缓存为处理结果；抓取机器人接收工控机返回的处理结果，根据处理结果，调整抓取点坐标与抓取角度并抓取零件、输出拍照指令和更换料框指令。2.根据权利要求1所述的一种基于3D视觉的机器人自动抓取方法，其特征在于：若拍到目标零件，抓取机器人根据处理结果调整抓取点坐标与抓取角度并抓取零件，并向工控机发送拍照指令，然后抓取机器人将零件放置于工装板上；若未拍到目标零件且未全部抓取完成，抓取机器人根据处理结果向工控机发送拍照指令；若未拍到目标零件且全部抓取完成，抓取机器人根据处理结果向上料机器人发送更换料框指令。3.根据权利要求1所述的一种基于3D视觉的机器人自动抓取方法，其特征在于：所述判断是否拍到目标零件的具体方法为：对原始三维点云数据进行点云滤波，得到滤波后的点云P′，获取模板零件对应的模板点云Pm，对比点云P′和模板点云Pm，点云P′中点的数量大于模板点云Pm中点的数量的阈值百分比，则判断滤波后的点云P包含目标零件。4.根据权利要求3所述的一种基于3D视觉的机器人自动抓取方法，其特征在于：所述点云滤波的具体方法为：(1)采用统计滤波法对原始点云数据{P}进行滤波，去除离群点，得到点云{P1’}；(2)对点云{P1’}进行体素降采样，得到点云{P2’}；(3)分割料框点云，采用直通滤波分割料框点云：设置供料台左上角为参考点，其在相机坐标系下的坐标(X，Y)，根据供料台高度H，料框高度h，料框长L，料框宽W，设定最大料框误差Δ＝{Δh，ΔL，ΔW}，则设置直通滤波参数为：经过直通滤波得到滤波后的点云{P3’}；(4)去除料框平面，采用RANSAC平面模型分割方法去除料框平面，得到{Pc’}，(4.1)计算法线，对点云{P3’}计算法线，得到P‘3_Normals；计算过程运用OpenMP技术进行加速；(4.2)采用RANSAC方法进行平面分割；以点云{P3’}及其法线P‘3_Normals为输入，设置最大迭代次数Mitera＝1000，距离权重W＝0.1，距离阈值Δ＝12，提取出点云{P3’}中平面点2CN114193440A权利要求书2/3页云{P’plan}；(4.3)去除平面，将点云{P’plan}中的点从点云{P3’}中去除，得到不含平面的点云{Pc’}；(5)分割零件点云，根据料框左上角坐标(X′，Y’)，零件长l，宽w，摆放误差Δ‘＝{Δl’，Δw’}，对于第n次抓取，直通滤波参数为：其中，N为抓取次数，C为料框列数，％为取余符号，[]为取整符号；依此分割