一种用于机械臂抓取系统中目标物体的位姿估计方法.pdf

(19)中华人民共和国国家知识产权局(12)发明专利申请(10)申请公布号CN110728222A(43)申请公布日2020.01.24(21)申请号201910943079.4(22)申请日2019.09.30(71)申请人清华大学深圳国际研究生院地址518055广东省深圳市南山区西丽街道深圳大学城清华校区A栋二楼(72)发明人梁斌孙井花王学谦李志恒徐峰刘厚德(74)专利代理机构深圳新创友知识产权代理有限公司44223代理人江耀纯(51)Int.Cl.G06K9/00(2006.01)G06K9/62(2006.01)G06T7/70(2017.01)G06T3/00(2006.01)权利要求书2页说明书8页附图5页(54)发明名称一种用于机械臂抓取系统中目标物体的位姿估计方法(57)摘要本发明提供一种用于机械臂抓取系统中目标物体的位姿估计方法，包括如下步骤：S1：渲染训练数据集；S2：构建目标物体的位姿估计级联网络，所述级联网络采用三个轻量级网络级联的方式；S3：训练所述目标物体的位姿估计级联网络。通过采用级联网络，使姿态估计问题成为分类问题，减少网络训练测试时间，提高检测精度。CN110728222ACN110728222A权利要求书1/2页1.一种用于机械臂抓取系统中目标物体的位姿估计方法，其特征在于，包括如下步骤：S1：渲染训练数据集；S2：构建目标物体的位姿估计级联网络，所述级联网络采用三个轻量级网络级联的方式；S3：训练所述目标物体的位姿估计级联网络。2.如权利要求1所述的用于机械臂抓取系统中目标物体的位姿估计方法，其特征在于，还包括如下步骤中的至少一步：S4：评价所述目标物体的位姿估计级联网络；S5：测试所述目标物体的位姿估计级联网络；S6：分析所述目标物体的位姿估计级联网络的运行时间。3.如权利要求1所述的用于机械臂抓取系统中目标物体的位姿估计方法，其特征在于，采用OpenGL渲染方式渲染训练数据集。4.如权利要求1所述的用于机械臂抓取系统中目标物体的位姿估计方法，其特征在于，所述三个轻量级网络分别用于：生成检测框；去除不准确的所述检测框；选择最准确的所述检测框并输出所述目标物体的位姿值。5.如权利要求1所述的用于机械臂抓取系统中目标物体的位姿估计方法，其特征在于，步骤S3包括如下步骤：S31：定义所述目标物体的位姿，所述位姿由三维旋转矩阵和三维平移矩阵组成的四维矩阵表示；S32：设置多任务损失函数，具体如下：其中，α、β、γ是损失函数的比例因子，和分别为三个轻量级网络的损失函数；S33：采用三个轻量级网络处理训练数据，得到训练数据集。6.如权利要求5所述的用于机械臂抓取系统中目标物体的位姿估计方法，其特征在于，训练数据包括如下步骤：T1：裁剪输入的RGB图像以获得目标样本，所述目标样本包括：负样本，部分样本和正样本，作为训练数据输入第一个轻量级网络并记录训练数据，其中，根据候选边界框和真实值边界框之间的IoU，将IoU>0.65的分类为正样本，0.35<IoU<0.65分类为部分样本，IoU<0.25分类为负样本；其中目标样本的尺寸为12x12；T2：将所述目标样本的尺寸调整到24x24并输入到第二个轻量级网络并记录训练数据；T3：将所述目标样本的尺寸调整到48x48并输入到第三个轻量级网络并记录训练数据。7.如权利要求6所述的用于机械臂抓取系统中目标物体的位姿估计方法，其特征在于，在步骤T1和步骤T2中，所述损失函数的β大于α、γ；在步骤T3中，α，γ大于β。8.如权利要求2所述的用于机械臂抓取系统中目标物体的位姿估计方法，其特征在于，步骤S4中使用F1-score，2D-pose和ADD评价所述目标物体的位姿估计级联网络。9.如权利要求2所述的用于机械臂抓取系统中目标物体的位姿估计方法，其特征在于，使用标准数据集LINEMOD中的测试集测试所述目标物体的位姿估计级联网络。2CN110728222A权利要求书2/2页10.一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1-9任一所述方法的步骤。3CN110728222A说明书1/8页一种用于机械臂抓取系统中目标物体的位姿估计方法技术领域[0001]本发明涉及人工智能技术领域，尤其涉及一种用于机械臂抓取系统中目标物体的位姿估计方法。背景技术[0002]随着科学技术的发展，尤其是计算机技术的发展以及海量数据的可获得，人工智能再一次掀起一股浪潮。其中计算机视觉在物体识别和分类方面取得了很好的成果，同时也被应用到其他方面。在这些领域中，当机械臂的操作对象是某些具体的物体时，例如各种金属或非金属，可变性或不可变形的零件，物流行业的物品等等，通常需要知道物体相对于机械臂所在的位置，这样才可以规划机