一种基于机器视觉的岸桥控制方法和装置.pdf

(19)中华人民共和国国家知识产权局(12)发明专利申请(10)申请公布号CN114119741A(43)申请公布日2022.03.01(21)申请号202111275349.2G06N3/08(2006.01)(22)申请日2021.10.29G06K17/00(2006.01)G06Q50/30(2012.01)(71)申请人北京航天自动控制研究所地址100039北京市海淀区永定路50号(72)发明人郑智辉闫威唐波郭宸瑞王硕董昊天闫涛李钊张伯川张海荣赵玲朱泽林亓欣媛常城朱敏许敏张艺佳武鹏彭皓任子建(74)专利代理机构北京天达知识产权代理事务所(普通合伙)11386代理人牛洪瑜(51)Int.Cl.G06T7/73(2017.01)G06N3/04(2006.01)权利要求书5页说明书15页附图6页(54)发明名称一种基于机器视觉的岸桥控制方法和装置(57)摘要本申请涉及一种基于机器视觉的岸桥控制方法和装置，属于港口岸桥作业辅助技术领域，解决现有方法的集卡定位精度低和单双箱判断准确性率不足而导致岸桥抓放箱作业效率低的问题。方法包括：对集卡的目标停车位置以及装载集装箱的集卡高度估计进行标定；基于目标矩形区域和目标停车位置计算初定位偏差距离；对车身图像进行图像裁剪以生成车身子图像；利用第二目标检测模型识别出箱孔坐标和文字或车架导板坐标；基于是否是融合区域、箱孔坐标和文字进行单双箱判断；估计集装箱的高度；计算移动偏差距离以将集卡引导至目标停车位置；根据判断的单双箱调整岸桥的吊具形态进行抓箱或放箱作业。集卡定位精度和单双箱判断准确性高，提高岸桥抓放箱作业效率。CN114119741ACN114119741A权利要求书1/5页1.一种基于机器视觉的岸桥控制方法，其特征在于，包括：对集卡的目标停车位置以及装载集装箱的集卡高度估计进行标定；获取并利用第一目标检测模型识别出车身图像中的集装箱或车架的目标矩形区域，并且基于所述目标矩形区域和所述目标停车位置计算初定位偏差距离，其中，所述目标矩形区域包括最小外接矩形；对所述车身图像中的集装箱或车架的目标矩形区域进行图像裁剪以生成车身子图像；获取并利用第二目标检测模型识别出所述车身子图像中的集装箱上的箱孔坐标和文字或车架上的车架导板坐标；基于所述车身子图像中的集装箱的目标矩形区域是否是融合区域、所述车身子图像中的中间子区域的箱孔坐标和文字，进行单双箱判断；基于所述箱孔坐标或所述车架导板坐标获取所述车身子图像中的下部子区域图像的箱孔或车架导板的距离和位置以估计所述集装箱的高度；基于所述集装箱或车架的高度和由箱孔或车架导板生成的目标直线计算移动偏差距离，根据所述移动偏差距离将所述集卡引导至所述目标停车位置；以及在所述岸桥的吊具到达所述集装箱或所述车架正上方时，根据判断的单双箱调整所述岸桥的吊具形态，进行抓箱或放箱作业。2.根据权利要求1所述的基于机器视觉的岸桥控制方法，其特征在于，对集卡的目标停车位置以及装载集装箱的集卡高度估计进行标定进一步包括：预先采集所述集卡的目标停车位置的车身图像并对所述目标停车位置的车身图像进行识别，以获取所述集卡在所述目标停车位置处的集装箱和对应箱孔图像坐标或者车架和对应车架导板图像坐标；利用所述箱孔图像坐标或所述车架导板图像坐标生成目标直线并估计与高度相关的像素距离因子。3.根据权利要求1所述的基于机器视觉的岸桥控制方法，其特征在于，获取并利用第一目标检测模型识别出车身图像中的集装箱或车架的目标矩形区域进一步包括：从数据库中获取多幅历史车身图像并对所述多幅历史车身图像中的集装箱或车架进行标注；建立第一神经网络Yolov5并利用标注的多幅历史车身图像对所述第一神经网络Yolov5进行训练以获得第一目标检测模型；以及实时采集当前车身图像，并利用所述第一目标检测模型识别出所述当前车身图像中的集装箱或车架的目标矩形区域，以进行抓箱或放箱判定，其中，根据所述集装箱的目标矩形区域的大小判定所述集装箱是20尺还是非20尺，并将同一集卡上的两个20尺的集装箱的目标矩形区域融合以形成所述融合区域。4.根据权利要求3所述的基于机器视觉的岸桥控制方法，其特征在于，对所述车身图像中的集装箱或车架的目标矩形区域进行图像裁剪以生成车身子图像进一步包括：将所述历史车身图像或所述当前车身图像裁剪为历史车身子图像或当前车身子图像，其中，当所述目标矩形区域是集装箱区域时，所述历史车身子图像或所述当前车身子图像包括第一上部子区域、中间子区域和第一下部子区域，其中，对所述第一中间子区域进行箱孔2CN114119741A权利要求书2/5页和文字检测，对所述第一上部子区域图像和所述第一下部子区域图像进行箱孔检测；以及当所述目标矩形区域是车架区域时，所述历史车身子图像或所述当前车身子图像包括第二上部子区域和第二下部子