基于AI图像识别算法的机械臂移动的控制方法.pdf

(19)中华人民共和国国家知识产权局(12)发明专利申请(10)申请公布号CN113814972A(43)申请公布日2021.12.21(21)申请号202111034802.0(22)申请日2021.09.04(71)申请人苏州灵兽智能机器人有限公司地址215000江苏省苏州市昆山市千灯镇景唐南路399号2号厂房一楼(72)发明人金玉辉(51)Int.Cl.B25J9/16(2006.01)B25J18/00(2006.01)G06N3/04(2006.01)G06N3/08(2006.01)权利要求书1页说明书3页附图1页(54)发明名称基于AI图像识别算法的机械臂移动的控制方法(57)摘要发明涉及控制方法领域，尤其是基于AI图像识别算法的机械臂移动的控制方法。该方法的步骤为：a)预训练深度学习的网络模型，实现图像实例识别与图像区域分割，得到区域识别模型；b)预训练深度学习的模型，得到目标物体识别模型；c)通过数个摄像头从数个不同的角度采集图像；d)使用区域识别模型对采集来的图像进行图像区域分割，依据数张图像分隔的结果进行三维空间建模。本发明通过两次图像识别算法的定位，降低了机械臂的精度要求，提高了抓取的效率和准确性。控制机械臂移动过程中不需要采集图像，对图像算法计算量大大减少。成本低灵活性高：纯图像技术可灵活应用于各种动态变化的商用场景。CN113814972ACN113814972A权利要求书1/1页1.一种基于AI图像识别算法的机械臂移动的控制方法，其特征在于：该方法的步骤为：a)预训练深度学习的网络模型，实现图像实例识别与图像区域分割，得到区域识别模型；b)预训练深度学习的模型，得到目标物体识别模型；c)通过数个摄像头从数个不同的角度采集图像；d)使用区域识别模型对采集来的图像进行图像区域分割，依据数张图像分隔的结果进行三维空间建模；e)使用目标物体识别模型识别目标物体在三维空间中的坐标位置，并确认机械臂的坐标位置；f)得到三维空间中的目标位置、障碍物区域后，通过机械臂的控制指令，对机械臂进行路径规划，机械臂按此路径运行运动操作；g)机械臂运动到目标位置后，在做夹取操作前，数个摄像头重新采集图像进行一次目标位置、机械臂位置的核对与矫正，并做夹取操作。2.根据权利要求1所述的基于AI图像识别算法的机械臂移动的控制方法，其特征在于：所述三维空间建模的方式为，通过三维递归重建神经网络3D‑R2N2进行多视图三维重建。3.根据权利要求2所述的基于AI图像识别算法的机械臂移动的控制方法，其特征在于：所述神经网络3D‑R2N2从任意角度接收多个对象实例的图像，并以三维占用网格的形式输出对象的重建。4.根据权利要求1所述的基于AI图像识别算法的机械臂移动的控制方法，其特征在于：所述摄像头采集的图像是从顶、前、左、右四个角度采集。5.根据权利要求1所述的基于AI图像识别算法的机械臂移动的控制方法，其特征在于：通过采集的图像，提取环境图像特征，计算出关键目标间的坐标关系，采用图像分割的深度学习网络DeepLabv3+进行训练。2CN113814972A说明书1/3页基于AI图像识别算法的机械臂移动的控制方法技术领域[0001]发明涉及控制方法领域，尤其是基于AI图像识别算法的机械臂移动的控制方法。背景技术[0002]现有的机械臂移动控制，是通过机械臂上的摄像头采集图像，采集的对象是目标物体。但是这种控制方式的抓取效率与准确率较低。发明内容[0003]为了解决背景技术中描述的技术问题，发明提供了一种基于AI图像识别算法的机械臂移动的控制方法。通过两次图像识别算法的定位，降低了机械臂的精度要求，提高了抓取的效率和准确性。控制机械臂移动过程中不需要采集图像，对图像算法计算量大大减少。成本低灵活性高：纯图像技术可灵活应用于各种动态变化的商用场景。[0004]本发明解决其技术问题所采用的技术方案是：[0005]一种基于AI图像识别算法的机械臂移动的控制方法，该方法的步骤为：[0006]a)预训练深度学习的网络模型，实现图像实例识别与图像区域分割，得到区域识别模型；[0007]b)预训练深度学习的模型，得到目标物体识别模型；[0008]c)通过数个摄像头从数个不同的角度采集图像；[0009]d)使用区域识别模型对采集来的图像进行图像区域分割，依据数张图像分隔的结果进行三维空间建模；[0010]e)使用目标物体识别模型识别目标物体在三维空间中的坐标位置，并确认机械臂的坐标位置；[0011]f)得到三维空间中的目标位置、障碍物区域后，通过机械臂的控制指令，对机械臂进行路径规划，机械臂按此路径运行运动操作；[0012]g)机械臂运动到目标位置后，在做夹取操作前，数个摄像头重新采集图像进行一次目标位置、机械臂位置的核对与矫正，并做夹取操作。[0013]