基于双目视觉的无序抓取方法、系统及存储介质.pdf

(19)中华人民共和国国家知识产权局(12)发明专利申请(10)申请公布号CN113689509A(43)申请公布日2021.11.23(21)申请号202111082441.7B25J9/16(2006.01)(22)申请日2021.09.15(71)申请人集美大学地址361021福建省厦门市集美区银江路185号(72)发明人陈宁冯浩王沁峰刘浩东(74)专利代理机构北京睿智保诚专利代理事务所(普通合伙)11732代理人韩迎之(51)Int.Cl.G06T7/80(2017.01)G06T7/13(2017.01)G06T7/12(2017.01)G06T7/194(2017.01)B25J19/02(2006.01)权利要求书2页说明书6页附图3页(54)发明名称基于双目视觉的无序抓取方法、系统及存储介质(57)摘要本发明公开了一种基于双目视觉的无序抓取方法、系统及存储介质，涉及机器视觉技术领域，具体步骤包括如下：进行双目相机标定，获得双目相机内外参数；利用标定完成的双目相机采集目标工件图像，获得图像的三维点云数据；进行手眼标定，获取机械手坐标系和视觉系统坐标系的转换关系；根据所述三维点云数据获取所述目标工件的位姿信息；根据所述转换关系，得到机械手坐标系下的第一位姿信息，机械手根据所述第一位姿信息实现目标工件的抓取。本发明将机器视觉应用到零件分拣系统中，相较于人工分拣有着高品质、高效率、高智能等优势，解决了散乱工件的自动化分拣和抓取问题。CN113689509ACN113689509A权利要求书1/2页1.一种基于双目视觉的无序抓取系统，其特征在于，包括机械手模块、机器视觉模块、传输模块、激光三角三维检测模块、网络交换机，所述网络交换机与所述机械手模块电性连接，还与所述机器视觉模块电性连接，所述传输模块为传送带，位于所述激光三角三维检测模块下方；其中，所述机器视觉模块，用于获取目标工件的三维信息；所述传输模块，用于进行所述目标工件的输送；所述激光三角三维检测模块，用于判断所述目标工件是否合格；所述机械手模块，用于根据所述三维信息实现目标工件的抓取；所述网络交换机，用于完成PC机、所述机械手模块以及所述机器视觉模块之间的信息交互。2.根据权利要求1所述的一种基于双目视觉的无序抓取系统，其特征在于，所述机器视觉模块包括依次连接的图像采集单元、图像预处理单元、标定单元、精度检测单元。3.根据权利要求2所述的一种基于双目视觉的无序抓取系统，其特征在于，所述图像采集单元包括双目相机、相机固定架和LED光源；所述双目相机固定在所述相机固定架上，用于采集所述目标工件的图像信息，所述LED光源，用于为图像采集提供光源。4.根据权利要求3所述的一种基于双目视觉的无序抓取系统，其特征在于，所述图像预处理单元包括图像滤波子单元、边缘轮廓提取子单元、图像分割子单元；所述图像滤波子单元，用于对所述图像信息进行高斯滤波处理，得到第一图像，所述边缘轮廓提取子单元，用于对所述第一图像进行边缘轮廓提取，得到第二图像，所述图像分割子单元，用于对所述第二图像进行图像分割将所述第二图像从背景图中提取出来。5.根据权利要求2所述的一种基于双目视觉的无序抓取系统，其特征在于，所述标定单元包括双目相机标定子单元和手眼标定子单元；所述双目相机标定子单元，用于获取双目相机的内外参数，所述手眼标定子单元，用于获取机械手坐标系和视觉系统坐标系的对应关系。6.根据权利要求5所述的一种基于双目视觉的无序抓取系统，其特征在于，所述精度检测单元用于检测所述双目相机标定子单元的标定精度。7.一种基于双目视觉的无序抓取方法，其特征在于，具体步骤包括如下：进行双目相机标定，获得双目相机内外参数；利用标定完成的双目相机采集目标工件图像，获得图像的三维点云数据；进行手眼标定，获取机械手坐标系和视觉系统坐标系的转换关系；根据所述三维点云数据获取所述目标工件的位姿信息；根据所述转换关系，得到机械手坐标系下的第一位姿信息，机械手根据所述第一位姿信息实现目标工件的抓取。8.根据权利要求7所述的一种基于双目视觉的无序抓取方法，其特征在于，实现目标工件的抓取后，还需要判断所述目标工件是否合格，若不合格，则将所述目标工件放入废料堆，若合格，则进行正确码放。9.根据权利要求7所述的一种基于双目视觉的无序抓取方法，其特征在于，所述手眼标定的形式为eye_in_hand，所述手眼标定的步骤为：建立机械手局部坐标系，采用Homograph变换建立视觉系统坐标系与机械手局部坐标2CN113689509A权利要求书2/2页系的映射关系模型；所述机械手局部坐标系的原点在机械手上；设置靶标，在设定范围内多次移动机械手，计算每次移动机械手时靶标在机械手局部坐标系中的坐标，检测每次移动机械手时靶标在视觉系统坐标系中的坐标，将计算