一种基于RGBD相机的货物箱智能装载方法及系统.pdf

(19)中华人民共和国国家知识产权局(12)发明专利申请(10)申请公布号CN113963044A(43)申请公布日2022.01.21(21)申请号202111160228.3G06N3/04(2006.01)(22)申请日2021.09.30G06N3/08(2006.01)B25J9/16(2006.01)(71)申请人北京工业大学地址100124北京市朝阳区平乐园100号(72)发明人任柯燕闫桐张云路胡兆欣(74)专利代理机构北京思海天达知识产权代理有限公司11203代理人张慧(51)Int.Cl.G06T7/50(2017.01)G06T7/80(2017.01)G06V10/762(2022.01)G06V10/764(2022.01)G06V10/82(2022.01)G06K9/62(2022.01)权利要求书2页说明书9页附图4页(54)发明名称一种基于RGBD相机的货物箱智能装载方法及系统(57)摘要本发明公开了一种基于RGBD相机的货物箱智能装载方法及系统，首先通过RGBD相机采集待装载和目标区域货物箱的颜色和深度信息，生成RGB图像和深度图，并进行相机标定；根据得到的相机内外参，将深度图转化为点云，并对RGB图像和点云进行数据增强；将增强后的RGB图像和点云数据输入到改进版的3D目标检测网络中，检测出每个货物箱的位置和尺寸大小，生成带有中心位置坐标和尺寸大小的三维检测框信息；将得到的货物箱的位置和尺寸信息以及目标区域已装载货物箱装载信息输入到基于强化学习的装载策略生成网络中，生成所有待摆放的货物箱的摆放顺序，并根据摆放顺序生成货物箱的最优摆放位置，形成最终的摆放策略；根据摆放策略计算机械臂的偏转位移和旋转角度，控制机械臂对货物箱进行装载。CN113963044ACN113963044A权利要求书1/2页1.一种基于RGBD相机的货物箱智能装载方法，其特征在于，所述方法包括以下步骤：S1、通过RGBD相机采集待装载区域和目标区域中货物箱的颜色和深度信息，生成RGB图片和对应的深度图片，并进行相机标定，确定相机内外参及图像坐标系与世界坐标系的转化关系；S2、根据S1中相机标定得到的相机内外参，将深度图转化为点云，并通过增强手段分别对RGB图像和点云进行数据增强；S3、将步骤S2中所得增强后的RGB图像和增强后的点云数据输入到3D目标检测网络中，检测出待装载区域和目标区域中每个货物箱的位置和尺寸大小，生成带有中心位置坐标和长宽高的三维检测框的信息；所述的3D目标检测网络依次包括三个模块：特征提取模块、特征融合模块和建议生成模块；其中特征提取模块又分为两个分支：图像特征分支和点云特征分支。具体地，图像特征分支是基于Faster‑rcnn改进版的2D目标检测网络、点云特征分支是基于pointnet++改进版的点云特征提取网络；特征融合模块是基于LI‑Fusion模型改进版的融合模型，用于融合点云特征和图像特征；建议生成网络基于Group‑free‑3D‑Net网络的Transformer结构，生成3D场景中每个货物箱的位置和尺寸大小；待装载区域用于放置需要装载的货物箱，目标区域用于放置已装载的货物箱；S4、将步骤S3中所得到的货物箱的位置和尺寸信息输入到基于强化学习的装载策略生成网络中，得到最终的装载策略；S5、根据步骤S4所生成的装载策略，计算机械臂的偏转位移和旋转角度，控制机械臂对货物箱进行装载。2.如权利要求1所述的一种基于RGBD相机的货物箱智能装载方法，其特征在于，所述步骤S1中的标定方法具体为使用标定板标定法标定相机内参和外参；所述步骤S2中的增强手段包括：对于RGB图像，通过颜色抖动、随机裁剪，并通过缩放将图片缩放到固定尺寸；对于点云数据，通过随机缩放、随机旋转，并通过随机采样的方式将点云采样到20000个点。3.如权利要求1所述的一种基于RGBD相机的货物箱智能装载方法，其特征在于，所述3D目标检测网络的具体流程如下：S31、利用特征提取模块分别获取图像分支的最终特征以及点云分支的最终特征，其中，图像分支最终特征的获取过程具体为，将待装载区域和目标区域增强后的RGB图像输入基于Faster‑rcnn改进版的2D目标检测网络，该网络输出RGB图像中货物箱的2D检测框的位置、大小和对应检测框的分类分数，然后从这些2D检测框中提取特征，特征包括从2D检测框中提取的语义、纹理和几何特征，其中语义特征为2D检测框的分类分数；纹理特征为检测框中所有像素的RGB像素值；几何特征为从2D检测框的中心投影到3D场景的投影射线，该射线可由2D检测框的大小位置以及相机标定得到的内外参获得。这三种特征相连接，作为图像分支的最终特征输出；点云分支的最终特征通过基于Pointnet++改进版的点云特征提取网络得到，具体为，以