一种基于双目相机的智能快递箱尺寸测量方法及系统.pdf

(19)中华人民共和国国家知识产权局(12)发明专利申请(10)申请公布号CN113963054A(43)申请公布日2022.01.21(21)申请号202111241872.3(22)申请日2021.10.25(71)申请人上海影谱科技有限公司地址201721上海市青浦区金泽镇(西岑)水秀路318号108室(72)发明人陈舜东(74)专利代理机构北京知呱呱知识产权代理有限公司11577代理人郑兴旺(51)Int.Cl.G06T7/62(2017.01)G06T7/55(2017.01)G06T7/80(2017.01)G06T5/00(2006.01)G01B11/00(2006.01)权利要求书2页说明书7页附图5页(54)发明名称一种基于双目相机的智能快递箱尺寸测量方法及系统(57)摘要本发明实施例公开了一种基于双目相机的智能快递箱尺寸测量方法及系统，采用双目相机实现无接触的测量方式，可实现流水线上的实时测量；通过一系列图像处理算法，可以实时高效地从一张图像中检测出快递箱的长宽高，并且检测精度和鲁棒性高；本方案构建的系统可以以相同的精度测量不同尺寸大小的快递箱尺寸。CN113963054ACN113963054A权利要求书1/2页1.一种基于双目相机的智能快递箱尺寸测量方法，其特征在于，所述方法包括：通过双目相机采集流水线传送带上的快递箱图像；对所述图像进行检测是否有快递箱，若没有，则继续进行图像采集，若有，则对所述图像进行去畸变以及校正处理；对校正处理后的图像进行计算获得视差图；对校正处理后的图像进行顶点检测，获得快递箱长宽高顶点的图像坐标；根据所述双目相机的从图像坐标到世界坐标的重投影矩阵、所述视差图以及所述快递箱长宽高顶点的图像坐标，计算得到快递箱长宽高的实际尺寸以及体积。2.根据权利要求1所述的一种基于双目相机的智能快递箱尺寸测量方法，其特征在于，所述方法还包括：对组成所述双目相机的左右两个单目相机分别进行标定，获得两个单目相机的内参数、外参数和畸变系数；根据两个单目相机的内参数、外参数和畸变系数对图像进行去畸变处理。3.根据权利要求1所述的一种基于双目相机的智能快递箱尺寸测量方法，其特征在于，所述方法还包括：对所述双目相机进行校正，得到左相机到右相机的旋转矩阵R和平移向量T；使用所述旋转矩阵R和平移向量T对预先采集的标定图像进行双目校正，使得左右相机的图像位于同一平面；根据校正后的左右相机的图像，计算得到从图像坐标到世界坐标的重投影矩阵。4.根据权利要求1所述的一种基于双目相机的智能快递箱尺寸测量方法，其特征在于，对校正处理后的图像进行顶点检测，获得快递箱长宽高顶点的图像坐标，具体包括：使用颜色筛选以及二值化处理，将快递箱从图像背景中分离，得到二值化的掩膜图像；在所述掩膜图像中寻找面积最大的物体轮廓，进一步寻找最小外接矩形；在所述物体轮廓上寻找与最小外接矩形顶点最接近的四个点，并按顺时针排序，即为最大内接矩形的顶点；根据获得的四个顶点，若左右两条竖直边的倾斜角与90°的差值的绝对值大于预设阈值，则对竖直边的顶点进行修正，修正的方法为：对一条竖直边的两个顶点，使用一个顶点的一定邻域内的所有像素点与另一个顶点的一定邻域内所有像素点进行一一匹配，去除异常值后，选定倾斜角最接近90°的两个像素点作为新的顶点；根据修正后的四个顶点P1、P2、P3及P4，若仅能获得快递箱的两条边，无法获得第三条边，则输出空值，若能够获得快递箱的三条边，则在所述物体轮廓中选择直线P3‑P4下方的区域，在该区域中寻找距离直线P3‑P4最远的顶点，记为点P5，输出线段P1‑P4、P4‑P5、P5‑P3的像素坐标{[(P1u,P1v),(P4u,P4v)],[(P4u,P4v),(P5u,P5v)],[(P5u,P5v),(P3u,P3v)]}，即为快递箱长宽高三条边的像素坐标。5.根据权利要求1所述的一种基于双目相机的智能快递箱尺寸测量方法，其特征在于，所述方法还包括：对采集的连续多张均包含快递箱的图像进行处理和计算得到多组尺寸数据，对多组数据求平均获得快递箱的最终尺寸和体积。6.一种基于双目相机的智能快递箱尺寸测量系统，其特征在于，所述系统包括：2CN113963054A权利要求书2/2页双目相机测量模块，用于通过双目相机采集流水线传送带上的快递箱图像；处理模块，用于对所述图像进行检测是否有快递箱，若没有，则继续进行图像采集，若有，则对所述图像进行去畸变以及校正处理；对校正处理后的图像进行计算获得视差图；对校正处理后的图像进行顶点检测，获得快递箱长宽高顶点的图像坐标；根据所述双目相机的从图像坐标到世界坐标的重投影矩阵、所述视差图以及所述快递箱长宽高顶点的图像坐标，计算得到快递箱长宽高的实际尺寸以及体积。7.根据权利要求6所述的一种基于双目相机