复杂场景下基于目标检测和模板匹配的工件识别计数方法.pdf

(19)国家知识产权局(12)发明专利申请(10)申请公布号CN115830359A(43)申请公布日2023.03.21(21)申请号202211580871.6G06N3/048(2023.01)(22)申请日2022.12.09G06N3/08(2023.01)G06V10/75(2022.01)(71)申请人埃夫特智能装备股份有限公司地址241000安徽省芜湖市中国（安徽）自由贸易试验区芜湖片区万春东路96号申请人上海埃奇机器人技术有限公司(72)发明人李浩来崔家林周其跃陆哲明(74)专利代理机构北京汇信合知识产权代理有限公司11335专利代理师王帅(51)Int.Cl.G06V10/762(2022.01)G06V10/764(2022.01)G06V10/82(2022.01)G06N3/0464(2023.01)权利要求书3页说明书9页附图3页(54)发明名称复杂场景下基于目标检测和模板匹配的工件识别计数方法(57)摘要本发明涉及目标检测和模板匹配技术领域，具体为复杂场景下基于目标检测和模板匹配的工件识别计数方法，包括以下步骤：利用高清工业相机获取标准工件原始数据集；对工件图像集进行预处理、数据增广、裁剪及分类标注得到增强数据集；构建基于改进YOLOv5的目标检测网络模型并进行数据集训练：部署训练好的目标检测模型读取工业摄像头实时检测生产线上的工件,旋转角度后裁剪并保存识别出的各个工件图像。本发明的优势在于，首先通过深度学习目标检测的手段从复杂场景图像中识别出工件，得到工件的位置信息，对于环境信息的敏感有更好的鲁棒性。能够处理多目标多角度的识别任务，在较为复杂的生产场景下可以出色地完成工件识别与计数。CN115830359ACN115830359A权利要求书1/3页1.复杂场景下基于目标检测和模板匹配的工件识别计数方法，其特征在于：包括以下步骤：步骤(1)利用高清工业相机获取标准工件原始数据集；步骤(2)对工件图像集进行预处理、数据增广、裁剪及分类标注得到增强数据集；步骤(3)构建基于改进YOLOv5的目标检测网络模型并进行数据集训练：构建基于改进YOLOv5的目标检测网络模型的具体过程为：步骤(31)对传统YOLOv5的锚框进行重新设计，增加锚框参数θ,采用K‑means++聚类的方法重新生成锚框以拟合工件目标的真实框，锚框的定位方法选取为长边定义法，采用CSL将角度的回归问题转化为分类问题，注释文件格式为[classid，x，y，longside，shortside，θ]；步骤(32)将传统YOLOv5中的骨干网络替换为MobileNetv3，MobileNetv3包括三个部分：第一部分通过卷积层提取特征层，第二部分为大量的倒残差结构块，第三部分输出类别；步骤(33)对传统YOLOv5中的Neck模块进行改进，将原先的PAN结构替换为BiFPN结构；步骤(34)修改传统YOLOv5中的Head部分，针对增加的θ维度修改Detect类构造函数，每个锚框预测的参数中增加angle_classes这一参数；步骤(35)对传统YOLOv5中的损失函数进行修改，添加角度θ的分类损失，其他损失函数不变，θ的损失函数采用BCEloss函数；步骤(4)部署训练好的目标检测模型读取工业摄像头实时检测生产线上的工件,旋转角度后裁剪并保存识别出的各个工件图像；步骤(5)通过目标检测网络标注并裁剪旋转得到图像中的工件待匹配区域，利用制作好的工件模板图像，采用SURF算法对目标检测网络提取出的待分类工件进行模板匹配并设定阈值，当相似度大于阈值时，则该待匹配区域中的工件类别则确定为模板中的该工件类别，并统计个数；SURF算法的步骤为：步骤(51)特征点检测：针对图像中的像素点x＝I(x，y)构建Hessian矩阵，利用Hessian矩阵提取图像中的特征点，对原图进行变换得到需要寻找特征点的变换图像，利用Hessian矩阵判别公式对每个像素点进行处理，将处理后的每个像素点与其图像域和尺度域的所有相邻点进行比较，当其大于或者小于所有相邻点时，该点就是极值点，从而初步定位出特征点，再经过滤除能量比较弱的关键点以及错误定位的关键点，筛选出最终的稳定的特征点；步骤(52)特征点方向确认：在特征点的圆形邻域内，统计60度扇形内所有点的水平、垂直harr小波特征总和，然后扇形以0.2弧度大小的间隔进行旋转并再次统计该区域内harr小波特征值之后，最后将值最大的那个扇形的方向作为该特征点的主方向；步骤(53)特征描述：在特征点周围沿着特征点的主方向取一个4*4的矩形区域块，每个子区域统计25个像素的水平方向和垂直方向的haar小波特征，该haar小波特征为水平方向值dy之和，水平方向绝对值|dy|之和，垂直方向dx之和，垂直方向绝对值|dx|之和，每个