一种基于语义分割和目标检测融合模型的工业缺陷检测方法.pdf

(19)中华人民共和国国家知识产权局(12)发明专利申请(10)申请公布号CN113724231A(43)申请公布日2021.11.30(21)申请号202111023082.8G06K9/32(2006.01)(22)申请日2021.09.01(71)申请人广东工业大学地址510090广东省广州市越秀区东风东路729号(72)发明人吴宗泽陈志豪查云威邓木清曾德宇(74)专利代理机构广州粤高专利商标代理有限公司44102代理人林丽明(51)Int.Cl.G06T7/00(2017.01)G06N3/04(2006.01)G06K9/62(2006.01)G06K9/34(2006.01)权利要求书3页说明书7页附图3页(54)发明名称一种基于语义分割和目标检测融合模型的工业缺陷检测方法(57)摘要本发明公开了一种基于语义分割和目标检测融合模型的工业缺陷检测方法，包括以下步骤：S1：获取待检测图像并进行像素色度分析，根据色度分析结果对待检测图像进行语义分割得到掩膜图；S2：将掩膜图与待检测图像的原图叠加得到分割输出图像；S3：将分割输出图像进行滑窗操作得到若干个滑窗图像，将得到的滑窗图像分别输入至卷积神经网络进行分类，得到滑窗图像对应的分类结果；S4：将卷积神经网络输出的分类结果分别输入至对应的目标检测网络，输出检测结果。本发明通过将语义分割、卷积神经网络与目标检测网络相融合，能够实现对多种复杂缺陷进行检测，同时提高了缺陷检测的准确率。CN113724231ACN113724231A权利要求书1/3页1.一种基于语义分割和目标检测融合模型的工业缺陷检测方法，其特征在于，包括以下步骤：S1：获取待检测图像并进行像素色度分析，根据色度分析结果对待检测图像进行语义分割得到掩膜图；S2：将掩膜图与待检测图像的原图叠加得到分割输出图像；S3：将分割输出图像进行滑窗操作得到若干个滑窗图像，将得到的滑窗图像分别输入至卷积神经网络进行分类，得到滑窗图像对应的分类结果；S4：将卷积神经网络输出的分类结果分别输入至对应的目标检测网络，输出检测结果。2.根据权利要求1所述的一种基于语义分割和目标检测融合模型的工业缺陷检测方法，其特征在于，步骤S1中的根据色度分析结果对待检测图像进行语义分割得到掩膜图，具体为：若待检测图像色度值小于预设值则舍弃当前待检测图像并重新获取；若待检测图像色度值大于或等于预设值，则将待检测图像进行语义分割。3.根据权利要求1所述的一种基于语义分割和目标检测融合模型的工业缺陷检测方法，其特征在于，步骤S1所述的语义分割采用unet语义分割模型，所述unet语义分割模型包括预处理单元和unet语义分割单元，其中所述预处理单元处理的处理过程为：首先将输入的图像进行图像锐化，然后进行自适应直方图均衡化；所述unet语义分割单元特征提取部分和上采样部分，所述特征提取部分首先对预处理后的图像进行特征提取，得到特征图，将得到的特征图进行上采样和多层特征融合，得到融合后的特征图，最后将融合后的特征图回归到跟原始图像一样尺寸的像素点的分类，得到掩膜图。4.根据权利要求3所述的一种基于语义分割和目标检测融合模型的工业缺陷检测方法，其特征在于，所述unet语义分割模型包括训练过程和测试过程，其中训练过程如下：a)首先是输入图像到预处理单元，得到预处理后的图像，将预处理后的图像输入到unet语义分割单元，得到语义分割的掩模图；b)利用图像相似度算法对得到的语义分割网络的掩膜图与原始的输入图像对应的掩模图标签进行计算，得到相似度值；c)最后将相似度值与预设的第二阈值进行比较，若相似度值大于预设的第二阈值，则输出预测的掩模图；若相似度值小于或等于预设的第二阈值，则返回预处理单元，将预处理单元的可调参数加1，然后继续上述步骤a)‑步骤b)，直到相似度值大于预设的第二阈值或者循环次数达到设定次数，则输出预测的掩模图；所述测试过程如下：首先是输入图像到预处理单元，得到预处理后的图像，将预处理后的图像输入到unet语义分割单元，得到语义分割的掩模图；然后，把掩膜图中所有分割出来像素点记录个数，作为判断条件，然后返回预处理单元，将预处理单元的可调参数加1，再次根据预处理后的图像生成掩模图，然后继续上述步骤，把掩膜图中所有分割出来像素点记录个数，与上一次循环得到的判断条件进行比较，若此次掩膜图中所有分割出来像素点记录个数小于上一次循环得到的判断条件，则输出上一次循环unet语义分割单元所预测的掩模图；若此次掩膜图中所有分割出来像素点记录个数大于上一次循环得到的判断条件，则将2CN113724231A权利要求书2/3页此次掩膜图中所有分割出来像素点记录个数作为新的判断条件，把上一次循环得到的判断条件代替，往复循环，直到掩膜图中所有分割出来像素点记录个数小于上一次循环得