基于语义激光交互的机械臂抓取方法.pdf

(19)中华人民共和国国家知识产权局(12)发明专利申请(10)申请公布号CN110340893A(43)申请公布日2019.10.18(21)申请号201910628437.2(22)申请日2019.07.12(71)申请人哈尔滨工业大学（威海）地址264200山东省威海市环翠区文化西路2号申请人威海市机器人与智能装备产业研究院(72)发明人刘亚欣钟鸣王思瑶姚玉峰(74)专利代理机构威海科星专利事务所37202代理人孙小栋(51)Int.Cl.B25J9/16(2006.01)G06T7/73(2017.01)权利要求书4页说明书16页附图6页(54)发明名称基于语义激光交互的机械臂抓取方法(57)摘要本发明涉及一种基于语义激光交互的机械臂抓取方法，其解决了现有载臂轮椅式助老助残机器人靠手柄来操作，存在的操作不方便、负担重、精度差、效率低；人机交互不够友好，用户体验差的技术问题，其包括以下步骤：获取物体的图像；识别出图像中存在的激光光斑；根据激光光斑识别目标物体；确定目标物体的抓取位姿；当图像中的激光光斑消失，根据抓取位姿使机械臂动作进而抓住目标物体；机械臂动作移动目标物体。本发明广泛用于控制机械臂抓取物品或操作载臂轮椅式助老助残机器人。CN110340893ACN110340893A权利要求书1/4页1.一种基于语义激光交互的机械臂抓取方法，其特征在于，包括以下步骤：步骤1，获取物体的图像；步骤2，识别出图像中存在的激光光斑；步骤3，根据激光光斑识别目标物体；步骤4，确定目标物体的抓取位姿；步骤5，当图像中的激光光斑消失，根据抓取位姿使机械臂动作进而抓住目标物体；步骤6，机械臂动作移动目标物体。2.根据权利要求1所述的基于语义激光交互的机械臂抓取方法，其特征在于：所述步骤1中，图像包括深度图像和彩色图像；所述步骤2的过程是，识别出彩色图像中存在的激光光斑；所述步骤3的过程是：(1)计算激光光斑在彩色图像中的二维像素坐标(u，v)，将光斑的二维像素坐标(u，v)转换到相机坐标系下的坐标(X/Z，Y/Z)；(2)首先对深度图像进行滤波处理，其次进行距离分割处理获得每一个物体的点云，再其次计算每个物体在相机坐标系下的形心坐标(Xi，Yi，Zi)，然后将各个物体的形心坐标(Xi，Yi，Zi)与光斑坐标(X/Z，Y/Z)进行距离比较，如果某物体与光斑之间的距离小于设定阈值，则确定该物体为目标物体。3.根据权利要求2所述的基于语义激光交互的机械臂抓取方法，其特征在于，通过以下公式(1-1)判断物体与光斑之间的距离小于设定阈值：公式(1-1)中，T表示阈值。4.根据权利要求1所述的基于语义激光交互的机械臂抓取方法，其特征在于，所述步骤4的过程是：(1)根据目标物体的点云信息和表面曲率，计算生成多种抓取候选位姿；(2)基于卷积神经网络评估多种抓取候选位姿，将评分最高者作为目标物体的抓取位姿。5.根据权利要求1所述的基于语义激光交互的机械臂抓取方法，其特征在于：所述步骤1中，图像包括深度图像和彩色图像；所述步骤2的过程是：(1)将获得的彩色图像进行图像预处理；(2)通过YOLOv3卷积神经网络函数识别出预处理后的彩色图像中的激光光斑，具体过程是：首先将预处理后的彩色图像输入YOLOv3卷积神经网络函数进行训练，训练的过程能够得出彩色图像的真实框；YOLOv3卷积神经网络函数对图像数据进行分析判断，在网络的最后一层，会将卷积网络处理后的图像分成等边的单元格，使用锚预测方法对每个单元格进行预测判断；针对每一个划分的小单元格，如果预测出目标边界框，YOLOv3卷积神经网络函数使用2CN110340893A权利要求书2/4页逻辑回归对预测边界框打分；根据预测框和真实框的重合程度设定置信度，该置信度作为阈值使用，当边界框得分大于置信度，则确定该边界框可能为激光光斑所在图像区域，如果最后剩余一个边界框,则该边界框区域为激光光斑,如果预置判断后还剩余多个边界框,则取得分最大的边界框区域,确定识别出激光光斑。6.一种基于语义激光交互的机械臂抓取方法，其特征在于，包括以下步骤：步骤1，获取物体的图像；步骤2，识别出图像中存在的第一次激光光斑；步骤3，计算出第一次激光光斑的位置信息；步骤4，根据第一次激光光斑识别第一目标物体；步骤5，确定第一目标物体的抓取位姿；步骤6，当图像中的第一次激光光斑消失后，又识别出图像中存在的第二次激光光斑，计算从第一次激光光斑消失后到出现第二次激光光斑之间的间隔时间tc；步骤7，计算出第二次激光光斑识的位置信息；步骤8，根据第二次激光光斑识别第二目标物体；步骤9，依据第二目标物体本身的信息确定机械臂手爪目标位置；步骤10，当图像中的第二次激光光斑消失，将第一次激光光斑的位置信息和第二次激光光斑的位置进行比较，如果第二次激光光斑和第