一种基于RGB-D特征深度融合的抓取位姿检测方法.pdf

(19)国家知识产权局(12)发明专利申请(10)申请公布号CN114998573A(43)申请公布日2022.09.02(21)申请号202210426360.2(22)申请日2022.04.22(71)申请人北京航空航天大学地址100191北京市海淀区学院路37号(72)发明人袁丁马浩王清可张弘(74)专利代理机构北京科迪生专利代理有限责任公司11251专利代理师安丽邓治平(51)Int.Cl.G06V10/25(2022.01)G06V10/44(2022.01)G06V10/764(2022.01)G06V10/80(2022.01)G06V10/82(2022.01)权利要求书2页说明书10页附图5页(54)发明名称一种基于RGB-D特征深度融合的抓取位姿检测方法(57)摘要本发明涉及一种基于RGB‑D特征深度融合的抓取位姿检测方法，首先，使用深度相机获取任务场景的RGB彩色图像和深度图像并进行图像预处理。其次，构建端到端的目标检测定位与抓取姿态预测的卷积神经网络，将RGB图像与深度图像以两路输入到构建的卷积神经网络中。接着，将RGB‑D特征进行深度融合，通过基于两步逼近思想的自适应锚框设置方法，获得待抓取物的二维平面抓取位姿表示，进而可以利用机械臂与相机的标定信息将抓取位姿映射到三维空间中实施抓取操作。本发明能够克服现有方法中机械臂抓取效率低下、泛化性能差的问题，实现端到端的目标定位与抓取检测，能够实时、准确地进行目标抓取位姿检测，经实验验证，具有准确性和鲁棒性。CN114998573ACN114998573A权利要求书1/2页1.一种基于RGB‑D特征深度融合的抓取位姿检测方法，其特征在于，包括以下步骤：第一步，使用深度相机同时获取任务场景的RGB彩色图像和深度图像即D图像的数据，并进行预处理；第二步，构建基于RGB‑D特征深度融合的抓取检测网络，该网络包括四部分：特征提取主干网络、RGB‑D特征深度融合网络、目标检测头与抓取检测头；其中RGB图像和D图像以两支路输入特征提取主干网络部分进行特征提取，两支路共享特征提取主干网络，分别获取RGB特征与D特征；第三步，目标检测头利用RGB特征进行目标分类和定位，利用定位结果，基于两步逼近方法为后续的抓取检测计算自适应锚框；第四步，通过RGB‑D特征深度融合网络将RGB特征与D特征进行融合，获取深度融合特征，并将深度融合特征输入到抓取检测头中；第五步，利用第三步所得的自适应锚框和第四步所得的深度融合特征，抓取检测头进行二维平面的抓取位姿检测，位姿检测结果可映射到三维空间得到机械臂对目标的实际抓取位姿。2.根据权利要求1所述的基于RGB‑D特征深度融合的抓取位姿检测方法，其特征在于，所述第二步中，RGB图像和D图像以两支路输入特征提取主干网络部分进行特征提取，两支路共享特征提取主干网络，具体实现如下：RGB图像与D图像以两路输入抓取检测网络，均通过主干网络部分进行特征提取，两种模态的图像通道数不同，RGB图像为3通道，D图像为单通道，两路的特征提取过程中仅有各卷积层输出通道数不同，D图像支路中的各层输出通道数是RGB图像支路中的1/2，以减少特征冗余和网络计算量。3.根据权利要求1所述的基于RGB‑D特征深度融合的抓取位姿检测方法，其特征在于，所述第三步中，基于两步逼近方法为后续的抓取检测计算自适应锚框，具体实现如下：两步逼近方法是指将机械臂抓取检测任务拆分为目标检测问题与抓取位姿检测问题：第一步进行目标检测，对目标的边界框进行逼近；第二步进行抓取检测，对第一步得到的边界框进行一定的缩放调整作为抓取检测的锚框，再对最优抓取框进行逼近，在利用目标检测头获得目标的检测框和类别后，通过对目标的检测框进行如下式的变换以设定后续抓取检测的初始锚框：其中，w与h指目标检测框的宽、高，wa与ha指锚框的宽、高，Nt为设定的阈值，α为设定的放缩系数；上述表达式可具体表述为如下规则，进行抓取检测自适应初始锚框的设定：(1)当目标边界框的长度和宽度至少有一项小于阈值Nt时，假设其中的较小值为lmin，则将αlmin(α>1)作为锚框的高即h，此时若另一项同样小于阈值Nt，则使用相同的系数α对其进行缩放作为锚框的宽w，否则使用固定值40作为锚框的宽；(2)当目标边界框的长度与宽度均大于阈值Nt时，采用40×40大小的正方形框作为锚2CN114998573A权利要求书2/2页框；(3)对于锚框的角度设定，规定若目标边界框的高度大于宽度，则锚框角度为0°，否则为90°。4.根据权利要求1所述的基于RGB‑D特征深度融合的抓取位姿检测方法，其特征在于，所述第四步中，RGB‑D特征深度融合网络将RGB特征与D特征进行融合，具体实现如下：RGB‑D特征深度融合网络的输入数据为：主干网络最后一层输出的RG