一种基于机器视觉的两阶段主板图像缺陷检测及定位方法.pdf

(19)国家知识产权局(12)发明专利申请(10)申请公布号CN114972213A(43)申请公布日2022.08.30(21)申请号202210499963.5G06V10/77(2022.01)(22)申请日2022.05.09G06V10/774(2022.01)G06V10/80(2022.01)(71)申请人浙江科技学院G06V10/82(2022.01)地址310013浙江省杭州市西湖区留和路318号(72)发明人许彩娥吴明洋干劲王炳炎潘思顺李俊钟盛云(74)专利代理机构浙江传衡律师事务所33387专利代理师叶卫强(51)Int.Cl.G06T7/00(2017.01)G06N3/04(2006.01)G06N3/08(2006.01)G06V10/25(2022.01)G06V10/764(2022.01)权利要求书4页说明书12页附图2页(54)发明名称一种基于机器视觉的两阶段主板图像缺陷检测及定位方法(57)摘要本发明公开了一种基于机器视觉的两阶段主板图像缺陷检测及定位方法，该方法的第一阶段为目标识别网络，将原始图像输入至特征提取网络，获取融合特征图；构建RPN目标识别网络，输入融合特征图获得目标识别候选区域图像。第二阶段为轻量化缺陷检测网络，构建跨注意力机制的轻量化特征提取模块嵌入至基于通道压缩的生成对抗网络，对上一阶段输出的所有图像进行缺陷预测，依照异常分数在原始图像中检测缺陷及定位。本发明利用目标识别网络为缺陷检测网络输入候选区域图像，实现复杂检测场景下，为缺陷检测网络去除大量无关特征；结合有监督学习与无监督学习，无需关注缺陷特征类型，并解决正常样本与缺陷样本数量不均衡导致分类效果不佳。CN114972213ACN114972213A权利要求书1/4页1.一种基于机器视觉的两阶段主板图像缺陷检测及定位方法，其特征在于，包括：(1)构建基于生成对抗网络的轻量化缺陷检测网络；(2)构建基于目标识别网络与轻量化缺陷检测网络的两阶段缺陷检测及定位方法，包括以下步骤：步骤一：引入原始主板图像数据集，在每个主板图像中通过人工标注的方式得到多个目标的标记框(即待进行缺陷检测的局部区域)，以此构建目标识别网络主板图像数据集；步骤二：获取步骤一所述的主板图像数据集，并做预处理(包含图像等比缩放，将灰度值范围调整至‑1至1)；步骤三：构建目标识别网络，将ResNet‑152卷积神经网络作为特征提取网络，将步骤二中所述的样本图像依次输入至特征提取网络中，获得每张样本图像对应的融合特征图；将输出的融合特征图依次输入至RPN网络中，获得每张样本图像所有的目标识别候选区域图像；步骤四：构建轻量化缺陷检测网络的数据集，获取步骤三中所有的目标识别候选区域图像，将数据集划分为训练集和测试集，其中训练集中只包含正常图像，测试集中包含正常图像和异常图像，利用目标识别算法制作目标识别候选区域图像集，有效实现复杂检测场景下，为缺陷检测网络去除大量无关特征；步骤五：构建基于生成对抗网络的轻量化缺陷检测网络，基于生成对抗网络，使用Skip‑GANomaly作为骨干网络，其中生成网络由编码器及解码器构成；在生成网络中，将其中除注意力机制模块内的标准二维卷积全部替换为深度可分离卷积，ReLU激活函数替换为ReLU6激活函数，构建轻量化特征提取模块替换由标准二维卷积、LeakyReLU激活函数、批量归一化组成的卷积处理单元；相较于骨干网络，减少每个特征提取模块输出的特征图通道数量，有效降低生成网络的计算复杂度与参数数量；在编码器中，构建跨注意力机制的轻量化特征提取模块替换轻量化特征提取模块，输出注意力特征图，增强对特征图的提取能力，使模型更关注任务所感兴趣的区域；利用跳跃连接，将输出的注意力特征图输入至解码器中对应的特征提取模块；在解码器中，构建由双线性插值与轻量化特征提取模块组成的上采样特征提取模块，实现对特征图的重构；步骤六：将DCGAN的判别网络作为缺陷检测网络的判别网络，使用由LeakyReLU激活函数层、卷积层、批量归一化层组成的卷积处理单元进行下采样，实现图像向潜在空间的映射，并通过Sigmoid函数将结果进行分类；步骤七：在训练阶段，分别训练不同阶段的两个网络：(7.1)将步骤一中所述主板图像数据集的训练集图像依次输入至步骤二及步骤三的目标识别网络中，由特征提取网络获得融合特征图，将融合特征图输入至RPN网络中；在RPN网络，将一个二进制分类标签分配给每个锚点；如果一个锚框跟所有真值框之一的IoU值大于设定阈值，则为正样本；如果一个锚框跟所有真值框的IoU值小于设定阈值，则为负样本；其余锚框不用于最终训练，将真值框与回归输出的候选框的位置作比较；使用损失函数l({pi}，{ti})训练RPN网络：2CN114972213A权利要求书2/4