基于YOLOv4-tiny模型的工件类别与位姿估计方法.pdf

(19)国家知识产权局(12)发明专利申请(10)申请公布号CN115100136A(43)申请公布日2022.09.23(21)申请号202210697551.2G06V10/82(2022.01)(22)申请日2022.06.20G06N3/04(2006.01)G06N3/08(2006.01)(71)申请人华南理工大学地址510640广东省广州市天河区五山路381号(72)发明人张铁郭亮亮邹焱飚(74)专利代理机构广州市华学知识产权代理有限公司44245专利代理师郑秋松(51)Int.Cl.G06T7/00(2017.01)G06T7/73(2017.01)G06V10/44(2022.01)G06V10/764(2022.01)G06V10/766(2022.01)权利要求书3页说明书9页附图3页(54)发明名称基于YOLOv4-tiny模型的工件类别与位姿估计方法(57)摘要本发明公开了一种基于YOLOv4‑tiny模型的工件类别与位姿估计方法，包括以下步骤：S1、对YOLOv4‑tiny模型的特征提取网络进行轻量化，特征提取网络对输入图像进行特征提取并输出不同尺度的特征图；S2、设置多组不同宽高和旋转角度的锚框，并分派到不同尺度的特征图上，根据模型输出的预测结果生成相应的预测框；S3、采集目标工件的图像数据，使用旋转边界框对目标工件的类别和位姿进行标注，通过数据增广预处理后获得数据集；S4、利用数据集对YOLOv4‑tiny模型进行迭代训练，训练至损失函数不再下降，获取检测工件的最优YOLOv4‑tiny模型；S5、利用最优YOLOv4‑tiny模型执行在线网络推理，对模型的预测结果进行后处理，预测目标工件的类别、位置和姿态。本发明能实现高效的工件视觉分类和位姿估计。CN115100136ACN115100136A权利要求书1/3页1.一种基于YOLOv4‑tiny模型的工件类别与位姿估计方法，其特征在于，包括以下步骤：S1、对YOLOv4‑tiny模型的特征提取网络进行轻量化，特征提取网络对输入图像进行特征提取并输出不同尺度的特征图；S2、设置多组不同宽高和旋转角度的锚框，并分派到不同尺度的特征图上，根据模型输出的预测结果生成相应的预测框；S3、采集目标工件的图像数据，使用旋转边界框对目标工件的类别和位姿进行标注，通过数据增广预处理后获得数据集；S4、利用数据集对YOLOv4‑tiny模型进行迭代训练，训练至损失函数不再下降，获取检测工件的最优YOLOv4‑tiny模型；S5、利用最优YOLOv4‑tiny模型执行在线网络推理，对模型的预测结果进行后处理，预测目标工件的类别、位置和姿态。2.如权利要求1的基于YOLOv4‑tiny模型的工件类别与位姿估计方法，其特征在于，步骤S1中，使用可分离幻影卷积模块对YOLOv4‑tiny模型的特征提取网络进行轻量化，可分离幻影卷积模块包括逆深度可分离卷积和通道卷积线性运算，逆深度可分离卷积用于生成固有特征图，通道卷积线性运算用于生成幻影特征图；逆深度可分离卷积可分解为点卷积和深度卷积，点卷积用于处理输入特征图的通道信息，深度卷积用于处理输入特征图的空间信息。3.如权利要求2的基于YOLOv4‑tiny模型的工件类别与位姿估计方法，其特征在于，使用可分离幻影卷积替换标准卷积时，计算量的压缩比为：其中，ci为输入通道数，co为输出通道数，wi为输入特征图的宽，hi为输入特征图的高，wo为输出特征图的宽，ho为输出特征图的高，s为压缩比参数，d为通道卷积线性运算的核尺寸大小，k为原标准卷积的核尺寸大小，d≈k且s＜＜ci，ci＞＞1。4.如权利要求1的基于YOLOv4‑tiny模型的工件类别与位姿估计方法，其特征在于，步骤S2中，设置6组不同宽高的锚框，并为每组锚框设置6组不同的旋转角度，然后将各组锚框分派到不同尺度的输出特征图，分别回归大目标和小目标。5.如权利要求1的基于YOLOv4‑tiny模型的工件类别与位姿估计方法，其特征在于，步骤S3中，使用长边表示法对采集的目标工件图像数据进行参数标注，具体方式为：使用参数集{x,y,w,h,θ,cls}来表示旋转边界框，其中，x和y表示边界框中心点的坐标，w表示边界框的宽，h表示边界框的高，宽指长边，高指短边，θ是长边与X轴正向的夹角，逆时针方向为正，顺时针方向为负，cls为工件类别。2CN115100136A权利要求书2/3页6.如权利要求1的基于YOLOv4‑tiny模型的工件类别与位姿估计方法，其特征在于，步骤S3中，制作数据集时使用数据增广的方式对原始数据集进行扩充，具体为：对采集的目标工件图像使用随机缩放、旋转和平移的数据增广方法，并对标签数据作相应的变换，然后为图像数据添加随机高斯噪音，利用黑色像素将图像数据填充为