一种基于双目视觉与图像分割技术的散装粮随机扦样方法.pdf

(19)国家知识产权局(12)发明专利申请(10)申请公布号CN115035193A(43)申请公布日2022.09.09(21)申请号202210711751.9(22)申请日2022.06.22(71)申请人河南工业大学地址450001河南省郑州市高新技术产业开发区莲花街100号河南工业大学科技处(72)发明人李智但乃禹李磊杨卫东张蕙(51)Int.Cl.G06T7/73(2017.01)G06T7/11(2017.01)G06T5/00(2006.01)G06T7/80(2017.01)G06V10/75(2022.01)G06V10/774(2022.01)权利要求书2页说明书5页附图1页(54)发明名称一种基于双目视觉与图像分割技术的散装粮随机扦样方法(57)摘要本发明涉及一种基于双目视觉与图像分割技术的散装粮随机扦样方法，首先使用双目相机分别获取散粮运输车装粮区域的左图像和右图像信息并校正，利用图像分割模型对校正后的左图像进行目标分割，识别并计算出装粮车辆粮面区域边界的四个角点像素坐标，并根据扦样规则将粮面区域划分为多个扦样区域，从中随机选取若干扦样区域并以其中心点作为扦样点，计算得到扦样点像素坐标，采用双目视觉立体匹配算法获得扦样点的三维空间世界坐标，从而控制粮食扦样机将扦样杆移动至各扦样点完成随机扦样操作。该方法针对装粮区域有较好的识别效果，能够实现随机选取扦样点位置。CN115035193ACN115035193A权利要求书1/2页1.一种基于双目视觉与图像分割技术的散装粮随机扦样方法，其特征在于，包括以下步骤：（1）利用双目相机分别采集散粮运输车和车载装粮区域的双目图像，所述双目图像包括左图像和右图像；（2）对车载装粮区域图像进行处理，校正双目图像，利用图像分割模型对校正后的左图像进行目标分割，识别并计算出装粮车辆粮面区域边界的四个角点像素坐标；（3）根据扦样规则将粮面区域划分为多个扦样区域，从中随机选取若干扦样区域并以其中心点作为扦样点，计算得到扦样点像素坐标；（4）采用双目视觉立体匹配算法完成扦样点的三维空间定位，获得扦样点的三维空间世界坐标，从而控制粮食扦样机将扦样杆移动至各扦样点完成随机扦样操作。2.根据权利要求1所述的一种基于双目视觉与图像分割技术的散装粮随机扦样方法，其特征在于，步骤（2）对车载装粮区域图像进行处理包括以下步骤：S1：对双目相机进行标定，使用标定参数对双目相机采集到车载装粮的左图像和右图像进行畸变校正和双目校正；S2：对采集到的车载装粮区域图像的粮面区域进行标注，得到训练图像集，利用训练图像集训练图像分割网络模型，使用训练好的图像分割网络模型对校正后的左图像进行分割得到掩膜图像；S3：使用Opencv计算掩膜图像中多个目标区域的边缘坐标，设定阈值参数筛选装粮区域，并生成最小外接矩形；S4：确定装粮区域四个角点坐标，计算装粮区域边缘与最小外接矩形四边及四角的距离，调整权重参数确定出最终的四个角点像素坐标。3.根据权利要求2所述的一种基于双目视觉与图像分割技术的散装粮随机扦样方法，其特征在于，所述标定参数包括：相机内参数、外参数、畸变系数。4.根据权利要求2所述的一种基于双目视觉与图像分割技术的散装粮随机扦样方法，其特征在于，所述畸变校正包括：径向畸变和切向畸变校正。5.根据权利要求2所述的一种基于双目视觉与图像分割技术的散装粮随机扦样方法，其特征在于，所述图像分割网络模型为U‑Net模型。6.根据权利要求1所述的一种基于双目视觉与图像分割技术的散装粮随机扦样方法，其特征在于，步骤（4）采用双目视觉立体匹配算法包括以下步骤：S1：匹配代价计算，采用Census变换法，分别对左右图像利用像素邻域内的局部灰度差异将像素灰度转换为比特串，将邻域窗口内像素灰度值与窗口中心像素的灰度值进行比较，根据比较结果计算匹配代价，进而衡量待匹配像素候选像素之间的相关性；S2：代价聚合，采用SGM算法，通过建立邻接像素之间的联系对匹配代价计算得到的代价矩阵进行全局优化，将像素所有视差下的匹配代价进行像素周围所有路径上的一维聚合得到各个路径下的路径代价值，最后将所有路径代价值相加得到该像素聚合后的匹配代价值；S3：视差计算，采用赢家通吃算法对代价聚合之后的代价矩阵进行处理，对每个像素选择最小聚合代价值所对应的视差值作为最优视差,最后得到与左图像相同尺寸的视差图；S4：视差优化，采用左右一致性检查算法剔除因为遮挡和噪声而导致的错误视差，将左2CN115035193A权利要求书2/2页右图像互换位置进行立体匹配，得到新的视差图，根据视差的唯一性约束，通过左图像的视差图，找到每个像素在右图像中的同名点像素及该像素对应的视差值，这两个视差值之间的差值若小于一定阈值，则满足唯一性约束被保留，反之则不满足唯一性约束而被