一种基于视觉识别实现机械臂精准挑拣的方法及系统.pdf

(19)中华人民共和国国家知识产权局(12)发明专利申请(10)申请公布号CN113927601A(43)申请公布日2022.01.14(21)申请号202111334653.X(22)申请日2021.11.11(71)申请人盐城工学院地址224000江苏省盐城市亭湖区希望大道中路1号(72)发明人蔡慧白雪飞秦生升孙丽丽(74)专利代理机构北京冠和权律师事务所11399代理人时嘉鸿(51)Int.Cl.B25J9/16(2006.01)权利要求书6页说明书18页附图1页(54)发明名称一种基于视觉识别实现机械臂精准挑拣的方法及系统(57)摘要本发明提供一种基于视觉识别实现机械臂精准挑拣的方法及系统，其中，方法包括：步骤S1：设定挑拣区域和挑拣目标，将对应于挑拣区域的相机进行相机标定，获得坐标转换矩阵，同时，识别相机采集的挑拣区域的区域图像中对应于挑拣目标的像素坐标；步骤S2：基于坐标转换矩阵，将像素坐标转换成空间坐标；步骤S3：基于空间坐标，规划机械臂的第一控制策略；步骤S4：基于第一控制策略，控制机械臂对挑拣目标进行挑拣。本发明的基于视觉识别实现机械臂精准挑拣的方法及系统，利用相机与机械臂进行配合，对挑拣目标进行精准挑拣，实现视觉识别，节省了人力成本，更避免了人工进行挑拣容易出错的问题。CN113927601ACN113927601A权利要求书1/6页1.一种基于视觉识别实现机械臂精准挑拣的方法，其特征在于，包括：步骤S1：设定挑拣区域和挑拣目标，将对应于所述挑拣区域的相机进行相机标定，获得坐标转换矩阵，同时，识别所述相机采集的所述挑拣区域的区域图像中对应于所述挑拣目标的像素坐标；步骤S2：基于坐标转换矩阵，将所述像素坐标转换成空间坐标；步骤S3：基于所述空间坐标，规划机械臂的第一控制策略；步骤S4：基于所述第一控制策略，控制所述机械臂对所述挑拣目标进行挑拣。2.如权利要求1所述的一种基于视觉识别实现机械臂精准挑拣的方法，其特征在于，所述步骤S1中，识别所述相机采集的所述挑拣区域的区域图像中对应于所述挑拣目标的像素坐标，包括：对区域图像进行预处理；基于图像识别技术，识别预处理结果中对应于所述挑拣目标的像素坐标；其中，对区域图像进行预处理，包括：对所述区域图像分别进行掩模处理、二值化处理和降噪处理。3.如权利要求1所述的一种基于视觉识别实现机械臂精准挑拣的方法，其特征在于，步骤S3：基于所述空间坐标，规划机械臂的第一控制策略，包括：获取预设的空间坐标系，将所述空间坐标输入至所述空间坐标系中，各所述空间坐标在所述空间坐标系中组合形成对应于所述挑拣目标的三维模型；获取预设的抓取识别模型，将所述三维模型输入所述抓取识别模型，获得所述机械臂末端的机械爪抓取所述挑拣目标的第一抓取方向和多个抓取点坐标；获取所述机械爪的第一当前位置坐标，同时，设定挑拣放置位置的挑拣放置坐标；获取预设的第一控制策略规划模型，将所述第一当前位置坐标、挑拣放置坐标、第一抓取方向和多个抓取点坐标输入所述第一控制策略规划模型，获得所述机械臂的第一控制策略，完成规划；其中，所述第一控制策略包括：所述机械臂中多个关节对应的在至少一个关节移动方向上的移动时机和移动距离以及所述机械爪的张开时机、收紧时机、旋转时机和对应于所述旋转时机的旋转角度。4.如权利要求3所述的一种基于视觉识别实现机械臂精准挑拣的方法，其特征在于，还包括：当所述机械爪抓取完所述挑拣目标后，定时获取所述机械爪抓取所述挑拣目标的抓取状态信息；对所述抓取状态信息进行信息分析并归类，获得不同第一类型对应的多个第一信息项；获取所述第一信息项的产生时间点，建立第一时间轴，基于所述产生时间点，将所述第一信息项对应设置于所述第一时间轴上，并将所述第一时间轴与对应所述第一类型进行关联；对所述第一信息项进行特征分析并提取，获得至少一个第一特征；获取预设的可疑特征库，将所述第一特征与所述可疑特征库中的可疑特征进行特征匹配，若匹配符合，确定匹配符合的可疑特征，并作为第二特征，同时，确定对应所述第一信息2CN113927601A权利要求书2/6页项在所述第一时间轴上的第一位置；获取所述第二特征对应的至少一个跟踪信息，所述跟踪信息包括：进行跟踪的第二类型和对应触发特征库；确定所述第二类型关联的所述第一时间轴，并作为第二时间轴；确定所述第二时间轴上对应于所述第一位置的第二位置；选取所述第二时间轴上所述第二位置之后的所述第一信息项，并作为第二信息项；对所述第二信息项进行特征分析并提取，获得至少一个第三特征；将所述第三特征与所述第二类型对应的所述触发特征库中的触发特征进行特征匹配，若匹配符合，确定所述挑拣目标发生掉落，并输出掉落时刻，触发所述机械爪对所述挑拣目标进行二次抓取；获取所述机械爪的对应于所述掉落时刻的第二当前位置坐标、第一移动