一种面向无人叉车的托盘识别定位方法.pdf

(19)中华人民共和国国家知识产权局(12)发明专利申请(10)申请公布号CN112017240A(43)申请公布日2020.12.01(21)申请号202010830170.8G01S7/497(2006.01)(22)申请日2020.08.18(71)申请人浙江大学地址315400浙江省宁波市余姚市凤山街道冶山路479号科创大厦12楼(72)发明人王滔张雲策朱世强(74)专利代理机构杭州浙科专利事务所(普通合伙)33213代理人杨小凡(51)Int.Cl.G06T7/73(2017.01)G06T7/80(2017.01)G06N3/08(2006.01)G06N3/02(2006.01)G01S17/08(2006.01)权利要求书2页说明书6页附图4页(54)发明名称一种面向无人叉车的托盘识别定位方法(57)摘要本发明公开了一种面向无人叉车的托盘识别定位方法，包括如下步骤：S1，集成单目相机与单线激光雷达，对对其进行标定，得到相机的内参矩阵和外参矩阵；S2，选取并完成神经网络系统的训练及部署；S3，通过神经网络获取托盘识别框顶点的二维坐标和内参矩阵，得到托盘左右两侧与相机光心的连线，与相机光轴的夹角；S4，根据单线激光雷达测距信息和外参矩阵，将点云投影到相机坐标系下，根据夹角，对相机坐标系下的点云进行滤波，保留托盘对应的点云；S5，将托盘对应的点云，利用霍夫变换进行直线检测，拟合出托盘前表面及托盘前表面中心点的二维坐标及托盘前表面在相机坐标系中的倾角。CN112017240ACN112017240A权利要求书1/2页1.一种面向无人叉车的托盘识别定位方法，其特征在于包括如下步骤：S1，集成单目相机与单线激光雷达，相机光轴平行于地面，激光雷达标原点与相机光心的连线垂直于地面，对单目相机和单线激光雷达进行标定，得到的标定参数包括单目相机的内参矩阵和外参矩阵；S2，选取神经网络系统，采集托盘图像作为训练数据集，并完成对神经网络的训练，实现托盘识别神经网络的部署；S3，通过神经网络识别单目相机采集的托盘，并获取托盘识别框顶点的二维坐标，根据所述内参矩阵，计算得到托盘左右两侧与相机光心的连线，在相机水平视角场中，与相机光轴的夹角；S4，读取单线激光雷达测距信息，将极坐标下测距信息转换为激光雷达笛卡尔坐标系下的点云，根据所述外参矩阵，将点云投影到相机坐标系下，根据所述夹角，对相机坐标系下的点云进行滤波，保留托盘对应的点云；S5，将托盘对应的点云转换成像素与距离成对应关系的平面图像，利用霍夫变换进行直线检测，拟合出托盘前表面，并对拟合得到的托盘前表面的直线进行处理，得到托盘前表面中心点的二维坐标及托盘前表面在相机坐标系中的倾角。2.如权利要求1所述的一种面向无人叉车的托盘识别定位方法，其特征在于所述S1包括如下步骤：S11，相机标定板结合相机视场范围采集不同位姿的标定图像以覆盖单目相机的全部视场，并确保采集过程中标定板始终在激光雷达点云中清晰可辨；S12，利用采集到的标定图像和点云数据，通过联合标定工具箱处理标定板点云以实现点云和标定图像的帧匹配，完成单目相机的标定和单目相机与单线激光雷达的联合标定，分别得到相机的内参矩阵和外参矩阵。3.如权利要求1所述的一种面向无人叉车的托盘识别定位方法，其特征在于所述S2，根据无人叉车上计算平台的算力选取神经网络。4.如权利要求1所述的一种面向无人叉车的托盘识别定位方法，其特征在于所述S3包括如下步骤：S31，单目相机获取视野中的环境图像；S32，利用神经网络识别环境图像中的托盘及其识别框左右两侧顶点在像素坐标系中的二维坐标；S33，根据左右两侧顶点的二维坐标和所述相机内参，计算得到托盘左右两侧与相机光心连线，在相机水平视角场中，与相机光轴的夹角；通过如下公式计算夹角：u0,u1分别表示识别框左右两侧顶点在uv像素坐标系中的水平方向上的u值，fx是所述相机内参矩阵的参数。5.如权利要求1所述的一种面向无人叉车的托盘识别定位方法，其特征在于所述S4包2CN112017240A权利要求书2/2页括如下步骤：S41，获取激光雷达原始测距信息；S42，将激光雷达原始极坐标下测距信息转换为激光雷达笛卡尔坐标系下的点云；通过如下公式计算：xi＝disinγizi＝dicosγidi、γi表示第i个点云的极坐标，xi、zi表示第i个点云的笛卡尔坐标；S43，根据所述外参矩阵，将点云的笛卡尔坐标投影到相机坐标系下；通过如下公式：x、z表示所述的xi、zi的集合，Dc表示相机坐标系下的点云；S44，根据所述夹角，对相机坐标系下的点云进行滤波，保留托盘对应的点云。6.如权利要求1所述的一种面向无人叉车的托盘识别定位方法，其特征在于所述S5包括如下步骤：S51，选定像素与实际距离的比例关系，将所述点云转换为一副二值图