一种基于机器视觉的移动机械臂抓取控制系统及方法.pdf

(19)中华人民共和国国家知识产权局(12)发明专利申请(10)申请公布号CN107414832A(43)申请公布日2017.12.01(21)申请号201710668913.4(22)申请日2017.08.08(71)申请人华南理工大学地址510640广东省广州市天河区五山路381号(72)发明人吴玉香曾德伟王鹏(74)专利代理机构广州市华学知识产权代理有限公司44245代理人李斌(51)Int.Cl.B25J9/16(2006.01)权利要求书2页说明书4页附图2页(54)发明名称一种基于机器视觉的移动机械臂抓取控制系统及方法(57)摘要本发明公开了一种基于机器视觉的移动机械臂抓取控制系统及方法，该系统包括终端控制模块、机械臂操控模块，终端控制模块包括图像处理单元、目标检测单元、显示和命令单元，机械臂操控模块包括主控单元、图像采集单元、运动规划单元、机械臂本体单元。终端控制模块通过无线通信模块与机械臂操控模块进行通信，接收来自图像采集单元的机器视觉信息，图像处理单元与目标检测单元连接，根据接收数据获取目标在图像中的位置并通过显示单元实时展示，主控单元与图像采集单元连接，接收数据信息并传递控制指令给运动规划单元，从而调节机械臂本体单元中机械臂各个关节的位置并对目标进行抓取。该系统实现远程操控、实时决策，稳定可靠抓取目标。CN107414832ACN107414832A权利要求书1/2页1.一种基于机器视觉的移动机械臂抓取控制系统，其特征在于，所述抓取控制系统包括终端控制模块、无线通信模块、机械臂操控模块，其中，所述无线通信模块分别与所述终端控制模块以及所述机械臂操控模块连接，作为远程双向数据信息传输的通道，方便两端模块的监测与管理；所述终端控制模块包括依次连接的图像处理单元、目标检测单元、显示和命令单元，所述机械臂操控模块包括依次连接的图像采集单元、主控单元、运动规划单元、机械臂本体单元；所述终端控制模块中的图像处理单元通过所述无线通信模块与所述机械臂操控模块进行通信，接收来自所述机械臂操控模块中的图像采集单元的机器视觉信息，目标检测单元与图像处理单元连接，根据接收的图像信息获取目标在图像中的位置并通过显示和命令单元实时展示；所述机械臂操控模块中的主控单元与图像采集单元连接，负责传送采集到的图像信息给图像处理单元，同时接收数据信息并传递控制指令给运动规划单元，从而调节机械臂本体单元中机械臂各个关节的位置并对目标进行抓取。2.根据权利要求1所述的一种基于机器视觉的移动机械臂抓取控制系统，其特征在于，所述图像处理单元用于对摄像机进行标定，并将矫正后的数据用于图像的畸变矫正，同时也对所获取的图像进行滤波处理，从而提供更加可靠的图像信息；所述目标检测单元用于对指定的目标进行识别，并在移动机械臂的运动过程中计算出目标在图像上的坐标，同时将获取的数据信息传递给显示和命令单元；所述显示和命令单元用于显示与目标相关的信息，以及机械臂的位置信息，同时也用于人为的发送远程控制指令，从而对机械臂的各个关节进行调节。3.根据权利要求1所述的一种基于机器视觉的移动机械臂抓取控制系统，其特征在于，所述无线通信模块包括无线网卡和无线路由器，并通过TCP/IP协议完成所述终端控制模块和所述机械臂操控模块之间的相关数据传输。4.根据权利要求1所述的一种基于机器视觉的移动机械臂抓取控制系统，其特征在于，所述主控单元用于接收来自终端控制模块发送的机械臂关节转角控制信号，驱动移动机械臂的各个关节按照指定的角度进行相应地转动，使得移动机械臂能够运动到期望位置，同时所述主控单元负责将图像处理单元采集到的图像信息传送给图像处理单元；所述图像采集单元包括单目CCD工业相机和图像采集卡，用来完成视频流的采集任务，并通过无线局域网上传至所述终端控制模块进行显示预览；所述运动规划单元采用D-H表示法建立移动机械臂的关节坐标系描述，同时在正逆运动学求解的基础上在关节空间对移动机械臂进行路径规划；所述机械臂本体单元作为整个多自由度的移动机械臂平台，在得到目标空间位置信息后，在驱动控制下能够调节各个关节转动，使其末端执行器到达目标位置，从而对被控目标进行抓取控制。5.根据权利要求4所述的一种基于机器视觉的移动机械臂抓取控制系统，其特征在于，所述主控单元采用ARM9嵌入式开发板，开发板再通过RS-232串口与底层电机驱动控制器进行通信，驱动本地的移动机械臂运动。6.一种基于机器视觉的移动机械臂抓取控制方法，其特征在于，所述抓取控制方法包括下列步骤：2CN107414832A权利要求书2/2页S1、主控单元接收到操作人员远程发来的抓取目标的指令后，抓取控制系统开启图像采集单元，图像采集单元开始采集视频图像，并将获取到的视频图像通过无线通信模块传送至终端控制模块的图像处理单元，对图像信息进