一种基于深度学习视觉检测的非烟物质检测方法.pdf

(19)国家知识产权局(12)发明专利申请(10)申请公布号CN115937619A(43)申请公布日2023.04.07(21)申请号202111249845.0G06N3/08(2023.01)(22)申请日2021.10.26(71)申请人上海创和亿电子科技发展有限公司地址201800上海市嘉定区曹新公路1352号1幢6635室(72)发明人王潇江沉包可翔罗小华卢幼祥程道胜岳博文石超彭云发何利波薛辰(74)专利代理机构上海政济知识产权代理事务所(普通合伙)31479专利代理师辇甲武(51)Int.Cl.G06V10/774(2022.01)G06V10/82(2022.01)G06N3/0464(2023.01)权利要求书3页说明书6页附图2页(54)发明名称一种基于深度学习视觉检测的非烟物质检测方法(57)摘要本发明提供一种基于深度学习视觉检测的非烟物质检测方法，该方法提取生产线的图像进行标注；将标注图像划分训练集、验证集和测试集；基于Tensorflow深度学习框架，搭建YOLOV4、YOLOV3目标检测模型，使用训练集和验证集训练模型，分别保存最优的三个YOLOV3模型和YOLOV4模型；利用测试集，通过Map指标测评出最好的YOLOV3和YOLOV4模型，保存为序列化文件；使用该序列化文件利用Tensorrt推理框架重构、加速模型；将待预测图像传入YOLOV4和YOLOV3模型，将两模型的输出结果加权平均获得最终预测结果；将最终预测结果绘制到预测图像上。该方法可减少人工工作量，提高生产效率。CN115937619ACN115937619A权利要求书1/3页1.一种基于深度学习视觉检测的非烟物质检测方法，其特征在于，包括如下步骤：步骤1：采集烟草生产线中包含非烟物质的若干图像作为样本；步骤2：对步骤1采集的图像进行非烟物质的标注，生成VOC格式的数据集；步骤3：通过随机采样法，将步骤2中的数据集随机划分为训练集、验证集和测试集；步骤4：基于Tensorflow深度学习框架，搭建YOLOV4、YOLOV3目标检测模型，使用步骤3中的所述训练集和所述验证集对搭建的进行模型训练，获取三个最优的YOLOV4模型和三个最优的YOLOV3模型；步骤5：使用步骤3的所述测试集对步骤4所获取的三个最优的YOLOV4模型和三个最优的YOLOV3模型进行精度测试，选择精度最好的一个YOLOV4模型和一个YOLOV3模型；步骤6：将步骤5中最终选择的YOLOV4模型和YOLOV3模型保存为序列化文件；步骤7：利用步骤6中保存的序列化文件，基于Tensorrt深度学习推理框架加速模型；步骤8：对于烟草生产线的待预测图像，先利用步骤7最终获得的YOLOV3模型和YOLOV4模型分别进行预测，然后将YOLOV3模型的预测结果与YOLOV4模型的预测结果进行加权求和，得到最终预测结果；步骤9：根据步骤8的所述最终预测结果生成带预测框及预测框属性信息的预测图像进行显示。2.如权利要求1所述的基于深度学习视觉检测的非烟物质检测方法，其特征在于：其中，步骤2对图像中非烟物质的标注使用LabelImg软件进行标注，标注的标签属性包括图片路径path、图片宽度width、图片高度height、图片深度depth、非烟物质类别name及非烟物质的位置坐标xmin、ymin、xmax、ymax。3.如权利要求1所述的基于深度学习视觉检测的非烟物质检测方法，其特征在于：其中，步骤3中所述训练集、所述验证集、所述测试集分别占原始数据集数据量的60％、20％、20％。4.如权利要求1所述的基于深度学习视觉检测的非烟物质检测方法，其特征在于：其中，步骤4中三个最优的YOLOV4模型和三个最优的YOLOV3模型的选取方式通过计算损失函数Loss确定，分别为训练集Loss最小的模型、验证集Loss最小的模型、训练集与验证集综合Loss最小的模型，损失函数Loss的具体计算公式如下：Loss＝Lposition+Lconfidence+Lclass(1)公式(1)中，Lposition是预测框位置与真实框位置之间的损失；Lconfidence为预测框是否包含非烟物质的置信度损失；Lclass为非烟物质类别损失；各损失计算公式如下：公式(2)中，2CN115937619A权利要求书2/3页公式(2)至(5)中，S表示通过YOLO模型输出的三个特征图的尺寸；a表示每个特征图网格的先验框anchor的个数；b表示预测框的中心点；bgt表示真实框的中心点；p2(b,bgt)为b,bgt的欧氏距离的平方；c表示能够同时包含预测框和真实框的最小闭包区域的对角线距离；Inter表示预测框与真实框的交集面积；Union表示预测框与真实框的并集面积；wgt、hgt分别表示真实框的宽和高；w