基于深度学习的航空铆钉分类及异常检测方法.pdf

(19)国家知识产权局(12)发明专利申请(10)申请公布号CN115965598A(43)申请公布日2023.04.14(21)申请号202211685325.9G06V10/82(2022.01)(22)申请日2022.12.27G06N3/045(2023.01)G06N3/0464(2023.01)(71)申请人中国民用航空飞行学院G06N3/096(2023.01)地址618307四川省德阳市广汉市三水镇高店村(72)发明人夏正洪魏汝祥吴建军何琥(74)专利代理机构成都天既明专利代理事务所(特殊普通合伙)51259专利代理师邓世燕(51)Int.Cl.G06T7/00(2017.01)G06V10/764(2022.01)G06V10/766(2022.01)G06V10/774(2022.01)G06V10/80(2022.01)权利要求书2页说明书7页附图2页(54)发明名称基于深度学习的航空铆钉分类及异常检测方法(57)摘要本发明公开了一种基于深度学习的航空铆钉分类及异常检测方法，包括如下步骤：步骤一、采集航空铆钉图像数据，并对图像数据进行预处理；步骤二、对航空铆钉图像数据进行目标框类别标注和数据增强处理；步骤三、采用迁移训练加冻结训练的方式对航空铆钉分类及异常检测模型进行训练；步骤四、采用以DarkNet‑53结构为基线的卷积神经网络为主干网络提取特征进行神经网络推理，以Focus层、跨阶段局部网络层、空间金字塔池化结构模块、上采样层、连接层作为颈部网络来进行特征融合，最后使用解耦检测头生成检测结果。与现有技术相比，本发明的积极效果是：本发明的航空铆钉分类及异常目标检测精度和速度均有绝对的优势。CN115965598ACN115965598A权利要求书1/2页1.一种基于深度学习的航空铆钉分类及异常检测方法，其特征在于：包括如下步骤：步骤一、采集航空铆钉图像数据，并对图像数据进行预处理；步骤二、对航空铆钉图像数据进行目标框类别标注和数据增强处理；步骤三、采用迁移训练加冻结训练的方式对航空铆钉分类及异常检测模型进行训练；步骤四、采用以DarkNet‑53结构为基线的卷积神经网络为主干网络提取特征进行神经网络计算，以Focus层、跨阶段局部网络层、空间金字塔池化结构模块、上采样层、连接层作为颈部网络来进行特征融合，最后使用解耦检测头生成检测结果。2.根据权利要求1所述的基于深度学习的航空铆钉分类及异常检测方法，其特征在于：步骤二中对航空铆钉图像数据进行数据增强处理的方法包括马赛克数据增强和混合数据增强。3.根据权利要求2所述的基于深度学习的航空铆钉分类及异常检测方法，其特征在于：所述马赛克数据增强的方法为：从数据集中每次随机读取四张图片，并分别对四张图片进行翻转、缩放和色域改变操作；再将四张图片依次摆放在左上、左下、右下和右上位置，然后利用矩阵的方式将四张图片固定的区域截取下来，拼接成一张新的图片。4.根据权利要求2所述的基于深度学习的航空铆钉分类及异常检测方法，其特征在于：按如下公式进行混合数据增强：λ＝Beat(α,β)其中是混合后的图像，Beat为贝塔分布，α，β均为常数，λ是从贝塔分布计算得到的随机采样数，(xi，yi)、(xj，yj)是同一个batch中随机选择的两个样本及对应标签。5.根据权利要求1所述的基于深度学习的航空铆钉分类及异常检测方法，其特征在于：步骤三所述采用迁移训练加冻结训练的方式对航空铆钉分类及异常检测模型进行训练的方法为：基于VOC数据集进行预训练，得到预训练权重，训练参数设置为score阈值为0.5，batch_size为10，max_boxes值为20，model_image_size为(640×640)，初始学习率为0.001；同时采用冻结训练，冻结通用的部分预训练权重，当损失值多次不下降时自动结束冻结训练，然后开启解冻训练，再将模型的所有层全部一起训练，冻结训练参数为score阈值为0.5，batch_size为8，max_boxes值为20，初始学习率为0.0001。6.根据权利要求5所述的基于深度学习的航空铆钉分类及异常检测方法，其特征在于：步骤三中航空铆钉分类及异常检测模型预测结果的坐标值与真实目标的坐标值之间的差异采用CIoULoss作为损失函数，公式如下：其中，b和bgt表示锚点框和目标框的中心点；ρ表示两个中心点的欧式距离；c表示覆盖锚点框和目标框的最小矩形的对角线距离；α为用于trade‑off的参数；v为用于衡量长宽比一致性的参数。7.根据权利要求1所述的基于深度学习的航空铆钉分类及异常检测方法，其特征在于：2CN115965598A权利要求书2/2页步骤四中卷积神经网络的推理过程包括提取特征阶段、收集处理特征信息阶段以及预测阶段，其中：第一步、提取特征阶段：