港口集装箱自动装卸作业中的视觉识别、测距与定位方法.pdf

(19)中华人民共和国国家知识产权局(12)发明专利申请(10)申请公布号CN114219842A(43)申请公布日2022.03.22(21)申请号202111525088.5G06T5/40(2006.01)(22)申请日2021.12.14G06T5/00(2006.01)G06V20/10(2022.01)(71)申请人东南大学地址210096江苏省南京市玄武区四牌楼2号(72)发明人李俊冯云剑闫兴达徐翔(74)专利代理机构南京众联专利代理有限公司32206代理人许小莉(51)Int.Cl.G06T7/521(2017.01)G06T7/70(2017.01)G06T7/80(2017.01)G06T7/136(2017.01)G06T7/13(2017.01)权利要求书3页说明书9页附图4页(54)发明名称港口集装箱自动装卸作业中的视觉识别、测距与定位方法(57)摘要本发明提出一种港口集装箱自动装卸作业中的视觉识别、测距与定位方法，该方法包括如下步骤：步骤S1：组建双目相机系统，并部署安装到集装箱桥式吊车两端；步骤S2：对于目标集装箱进行识别与平面定位；步骤S3：得到目标集装箱的平面位置后，利用双目相机系统实现目标集装箱的初步测距，并结合目标集装箱的结构化尺寸信息实现目标集装箱高度的精确计算，通过反透视变换确定目标集装箱的空间位置坐标；步骤S4：通过对吊具上预涂装标记的识别，实现吊具的平面定位，利用单目相机或激光测距传感器，得到吊具与集装箱桥式吊车的移动小车之间的距离，从而确定吊具的空间位置坐标。本发明有效的降低了相机的部署难度以及维护成本。CN114219842ACN114219842A权利要求书1/3页1.一种港口集装箱自动装卸作业中的视觉识别、测距与定位方法，其特征在于，该方法包括如下步骤：步骤S1：组建双目相机系统，并部署安装到集装箱桥式吊车横梁上可移动小车的两侧；步骤S2：对于目标集装箱进行识别与平面定位；步骤S3：得到目标集装箱的平面位置后，利用双目相机系统实现目标集装箱的初步测距，并结合目标集装箱的结构化尺寸信息实现目标集装箱高度的精确计算，通过反透视变换确定目标集装箱的空间位置坐标；步骤S4：通过对吊具上预涂装标记的识别，实现吊具的平面定位，利用单目相机或激光测距传感器，得到吊具与集装箱桥式吊车的移动小车之间的距离，从而确定吊具的空间位置坐标。2.根据权利要求1所述的港口集装箱自动装卸作业中的视觉识别、测距与定位方法，其特征在于：步骤S1具体包括如下步骤：步骤1‑1：将两个相同型号规格的相机固定在一刚性支架的基准面上组成一组双目相机系统，使得两个相机成像平面共面，光轴平行且以支架上的安装基准线为公垂线，两个相机之间的基线距离为D，所述相机选择帧率高于60FPS，分辨率高于2K的相机；步骤1‑2：将两组双目相机系统部署在吊车横梁上可移动小车两侧同一水平高度上，与小车的行进方向垂直，使每组双目相机系统至少能够拍摄到目标集装箱与吊具顶面的一个端部。3.根据权利要求1所述的港口集装箱自动装卸作业中的视觉识别、测距与定位方法，其特征在于：步骤S2具体包括如下步骤：步骤2‑1：使用两组双目相机分别采集下方集装箱和吊具的RGB图像，并对采集的RGB图像进行滤波降噪；步骤2‑2：将滤波降噪后的RGB图像转换到HSV颜色空间得到预处理后的图像，转换过程中图像的色调H取值范围为0°～360°，饱和度S取值范围为0～1，明度V取值范围为0～1；步骤2‑3：从预先采集的标准的集装箱图像中提取大小为P*P的图块作为集装箱颜色模板，并计算其在HSV颜色空间的统计直方图；步骤2‑4：取步骤2‑2预处理后的图像的中心位置处尺寸为N*M的区域作为感兴趣区域，并用大小为n*n的窗口，以l为步长遍历该区域，计算每个窗口中的图像与集装箱颜色模板之间颜色空间的统计直方图的匹配度，对所有匹配度超过阈值TM的窗口取并集，即得目标集装箱图像分割结果；步骤2‑5：对步骤2‑4得到的目标集装箱图像分割结果取最小外接矩形，并向外拓展K个像素作为新的感兴趣区域，并在此区域内进行边缘检测；步骤2‑6：将边缘检测所得的有效边缘像素进行组合，构成目标集装箱的轮廓特征；步骤2‑7：对目标集装箱的轮廓特征进行多边形拟合，提取出所有的凸四边形，并去除其中面积小于阈值TS1的结果，依次计算提取的所有的凸四边形所有邻接直线的夹角，若所有夹角的角度值均满足阈值范围[TD1，TD2]，则可判定该四边形为矩形，所有满足上述条件的矩形构成目标集装箱的候选外接矩形框集合；步骤2‑8：计算目标集装箱的候选外接矩形框集合中所有矩形的面积和长宽比，去除其中面积大于阈值TS2的矩形，并筛选出符合标准集装箱长宽比的矩形作为目标集装箱的外接2CN114219842A权利要求书2/3页矩形框；步