一种基于Anchor angle机制的机械臂抓取检测方法.pdf

(19)中华人民共和国国家知识产权局(12)发明专利申请(10)申请公布号CN111428815A(43)申请公布日2020.07.17(21)申请号202010300689.5(22)申请日2020.04.16(71)申请人重庆理工大学地址400054重庆市巴南区李家沱红光大道69号(72)发明人王勇陈荟西岳晨珂(74)专利代理机构重庆博凯知识产权代理有限公司50212代理人胡逸然(51)Int.Cl.G06K9/62(2006.01)G06K9/32(2006.01)G06N3/04(2006.01)权利要求书1页说明书6页附图4页(54)发明名称一种基于Anchorangle机制的机械臂抓取检测方法(57)摘要本发明公开了一种基于Anchorangle机制的机械臂抓取检测方法，包括：对训练集进行聚类得到先验信息；将训练集中的RGB图片和点云数据输入检测模型进行回归得到预测结果；基于预测结果与先验信息的差异对检测模型的参数进行优化调整，减小预测结果与先验信息的差异；优化后的预测结果包括一个抓取位置及其对应的尺寸信息，还包括K个抓取旋转角信息及每个抓取旋转角信息对应的置信度，将最高置信度对应的抓取旋转角信息与抓取位置及其对应的尺寸信息结合得到抓取信息。本发明在抓取检测的过程中保留了原有的点云特征，提高了检测抓取的精准度；减少了网络的计算量，提高了抓取检测的效率；避免了表面由于人工选取带来的偶然性和局限性。CN111428815ACN111428815A权利要求书1/1页1.一种基于Anchorangle机制的机械臂抓取检测方法，其特征在于，包括：S1、对训练集进行聚类得到先验信息，所述先验信息包括一个先验抓取位置及其对应的尺寸信息，还包括K个先验旋转角信息；S2、将训练集中的RGB图片和点云数据输入检测模型进行回归得到预测结果；S3、基于所述预测结果与先验信息的差异对检测模型的参数通过bp算法进行优化调整，减小预测结果与先验信息的差异；S4、优化后的预测结果包括一个抓取位置及其对应的尺寸信息，还包括K个抓取旋转角信息及每个抓取旋转角信息对应的置信度，将最高置信度对应的抓取旋转角信息与抓取位置及其对应的尺寸信息结合得到抓取信息。2.如权利要求1所述的Anchorangle机制的机械臂抓取检测方法，其特征在于，步骤S1包括：S101、利用簇内误方差和轮廓系数在康奈尔抓取数据集上的综合评估结果来确定K的值；S102、对训练集进行聚类得到K个待聚类先验抓取位置及尺寸信息及K个先验旋转角信息；S103、对K个待聚类先验抓取位置及尺寸信息进行再次聚类，得到一个先验抓取位置及尺寸信息。3.如权利要求1所述的Anchorangle机制的机械臂抓取检测方法，其特征在于，检测模型包括pointnet、ResNext-101及三个1×1的卷积神经网络，步骤S2包括：S201、利用pointnet和ResNext-101分别对RGB图片和点云数据进行特征提取，得到特征图和点云特征；S202、将特征图及点云特征进行融合得到融合特征图；S203、将融合特征图输入三个1×1的卷积神经网络得到预测结果。4.如权利要求3所述的Anchorangle机制的机械臂抓取检测方法，其特征在于，检测模型的损失函数L＝L1+L2+L3，其中：L1＝μS-obj*LS-obj+μR*LRL2＝μS-noobj*LS-noobjL3＝μreg*LT式中：L1表示中心网格损失函数，L2表示非中心网格损失函数，L3表示PointNet中T-Net的正交损失函数，LS-obj表示中心网格置信度损失，μS-obj表示中心网格置信度损失权重，LR表示矩形五维损失，μR表示矩形五维损失权重，LS-noobj表示非中心网格置信度损失，μS-noobj表示非中心网格置信度损失权重，LT表示PointNet中T-Net的正交损失，μreg表示PointNet中T-Net的正交损失权重。2CN111428815A说明书1/6页一种基于Anchorangle机制的机械臂抓取检测方法技术领域[0001]本发明属于图像识别技术领域，具体涉及一种基于Anchorangle机制的机械臂抓取检测方法。背景技术[0002]对于机器人而言，抓取检测是一个具有挑战性的任务，它需要从当前传感器获取的视觉信息中，快速准确的找到给定物体的最优抓取位置。近年来，基于深度学习的方法越来越广泛的应用于机械臂抓取检测中，并取得了很大的进展，而它主要分为特征提取和回归预测两个阶段。[0003]在特征提取阶段，现有的研究通常将RGB图像和原始点云数据转化为RGB-D的形式，并用不同的方法进行多模态特征融合。例如：将RGB-D数据与点云曲面法线的X、Y、Z分量融合成7通道作为网络输入；将RGB-D数据直接融合后输入网络；用深度通道