一种基于ResNeXt的智能机器人抓取方法.pdf

(19)中华人民共和国国家知识产权局(12)发明专利申请(10)申请公布号CN113822933A(43)申请公布日2021.12.21(21)申请号202111056444.3(22)申请日2021.09.09(71)申请人中北大学地址030051山西省太原市学院路3号(72)发明人韩慧妍王文俊张元杨晓文薛红新(74)专利代理机构太原申立德知识产权代理事务所(特殊普通合伙)14115代理人程园园(51)Int.Cl.G06T7/73(2017.01)G06T1/00(2006.01)G06N3/04(2006.01)G06N3/08(2006.01)权利要求书2页说明书8页附图3页(54)发明名称一种基于ResNeXt的智能机器人抓取方法(57)摘要本发明属于机器人视觉技术领域，具体涉及一种基于ResNeXt的智能机器人抓取方法。为克服现有抓取技术不能在检测速度和精度取得平衡的缺点，本发明生成真值图时，将标注按角度分类，高斯化的抓取质量图，构建的深度学习网络模型包括两次下采样、堆叠多次ResNeXt组成的的瓶颈层、两次上采样和并行的卷积构成的输出，得到输出后与对应真值图一起送入目标函数计算损失，反向传播调整参数，直至目标函数收敛，将拍摄到的深度图像输入到训练好的深度网络模型得到像素级预测输出，将像素级预测输出转换至机器人坐标抓取，利用机器人操作系统执行抓取。CN113822933ACN113822933A权利要求书1/2页1.一种基于ResNeXt的智能机器人抓取方法，其特征在于，包括以下步骤：步骤1，采集原始数据：使用RGB‑D相机拍摄所要抓取的物体，得到RGB图像和对应的深度图像，并使用MATLAB图像标注程序在拍摄的RGB图像上画出抓取矩形完成标注；步骤2，生成训练数据：根据标注生成像素级真值图；步骤3，构建深度网络模型：所述深度学习网络模型包括输入块、下采样块、瓶颈块、上采样块、输出块；所述输入块仅使用1维300×300深度图输入；所述下采样块先通过卷积核为9的大尺寸二维卷积扩充通道数到32层，再通过两个同样的核为4的二维卷积完成两次下采样，每次下采样后通道数翻倍，每层卷积后都做批归一化和ReLU激活，下采样完成后得到128×75×75的特征图；所述瓶颈块由5层同构ResNeXt块构成，每个ResNeXt块构造如下：输入128×75×75特征图，通过核为1的二维卷积升维到256；再经过核为3，分组数为32的分组卷积进一步提取特征；核为1的卷积完成特征聚合，并降维到128；输出特征与输入完成残差相加得到输出；所述上采样块每次转置卷积都跟随批归一化和ReLU激活函数，每次上采样都将通道数减半，第一次上采样后特征为64×151×151大小，第二次后得到32×301×301维特征；所述输出块先经过一次核为9、步长为1、padding为4的转置卷积，再通过6个并行的核为2的普通卷积得到分任务输出，均不跟随批归一化层和激活函数，最终得到6幅预测图，分别为L`、Q``、O、COS、SIN、W`；步骤4，训练深度网络模型，将拍摄到的深度图像进行预处理后，输入到深度网络模型，得到输出后与对应真值图一起送入目标函数计算损失，反向传播调整参数，直至目标函数收敛；步骤5，抓取预测，拍摄到的深度图像输入到训练好的深度网络模型得到像素级预测输出：抓取质量分数图Q`，抓取角度图Φ`，抓取宽度图W`，搜索Q`中值最大的像素所在坐标(u,v)，用此坐标在Φ`和W`中分别得到对应的抓取角度θ和抓取宽度w，构成完整抓取预测，至此，得到像素坐标抓取预测，如公式(2)所示：其中，Q`(u,v)表示(u,v)抓取点坐标对应的质量分数，SIN(u,v)表示(u,v)抓取点坐标对应的SIN值，COS(u,v)表示(u,v)抓取点坐标对应的COS值，W`(u,v)表示(u,v)抓取点坐标对应的宽度，arctan()表示反三角函数；步骤6，坐标变换，根据RGB‑D相机与机器人之间的手眼标定，将像素坐标抓取转换到机器人坐标抓取，如公式(3)所示：G＝TExtri(TIntri(g,zc))(3)其中，g表示像素坐标抓取预测，zc表示抓取矩形中心距离相机的距离，TIntri表示相机内参，TExtri表示相机外参；步骤7，执行抓取，使用机器人操作系统中的Moveit功能包控制机器人发送位姿指令，使用IKFast算法用作逆运动学求解，机器人接受运动命令，到达预抓取位置，张开抓取执行2CN113822933A权利要求书2/2页器两指末端至机器人坐标下抓取宽度大小，控制机器人到达抓取位姿，闭合执行器，回到预抓取位姿，到达指定放置位置，松开执行器放置物品到目标点，抓取完成。2.根据权利要求1所述的一种基于ResNeXt的智能机器人抓取方法，其特征在于，所述步骤1中RGB‑D相机与所