基于多尺度特征融合的表面微小缺陷视觉检测方法及系统.pdf

(19)国家知识产权局(12)发明专利申请(10)申请公布号CN115775236A(43)申请公布日2023.03.10(21)申请号202211483954.3G06V10/82(2022.01)(22)申请日2022.11.24(71)申请人广东工业大学地址510006广东省广州市番禺区广州大学城外环西路100号(72)发明人吴衡郭梓杰陈梅云吴文昊(74)专利代理机构北京东方盛凡知识产权代理有限公司11562专利代理师高天星(51)Int.Cl.G06T7/00(2017.01)G06N3/04(2023.01)G06V10/52(2022.01)G06V10/774(2022.01)G06V10/80(2022.01)权利要求书2页说明书6页附图4页(54)发明名称基于多尺度特征融合的表面微小缺陷视觉检测方法及系统(57)摘要本申请公开了基于多尺度特征融合的表面微小缺陷视觉检测方法及系统，其中方法包括以下步骤：采集被测目标物图像集，并基于被测目标物图像集构建工业品微小缺陷的图像训练数据集；基于图像训练数据集，进行多尺度特征融合深度神经网络训练，得到优化后深度神经网络；将待测目标物图像输入至优化后深度神经网络进行处理，得到目标物缺陷图像。本申请通过采用注意力机制以及多尺度特征融合网络结构，可以有效抑制下采样导致的信息丢失，提高工业品微小缺陷检测的识别率，另外，增加小目标检测层，能够更加准确检测出工业品的微小缺陷，有利于机器视觉缺陷检测技术的应用研究。CN115775236ACN115775236A权利要求书1/2页1.基于多尺度特征融合的表面微小缺陷视觉检测方法，其特征在于，包括以下步骤：采集被测目标物图像集，并基于所述被测目标物图像集构建工业品微小缺陷的图像训练数据集；基于所述图像训练数据集，进行多尺度特征融合深度神经网络训练，得到优化后深度神经网络；将待测目标物图像输入至所述优化后深度神经网络进行处理，得到目标物缺陷图像。2.根据权利要求1所述基于多尺度特征融合的表面微小缺陷视觉检测方法，其特征在于，所述被测目标物图像的采集方法包括：拍摄X张被测目标物图像；将X张所述被测目标物图像进行预处理，得到图像集B，所述图像集B作为所述被测目标物图像集。3.根据权利要求2所述基于多尺度特征融合的表面微小缺陷视觉检测方法，其特征在于，获得所述预处理的方法包括：将每张所述被测目标物进行亮度调整、旋转和翻转处理，得到Y张处理后子图像；基于所述处理后子图像，构建包含K＝X×(Y+1)张处理后图像的图像集A；将所述图像集A中的K张所述处理后图像进行缺陷标注，得到预处理后的所述图像集B。4.根据权利要求1所述基于多尺度特征融合的表面微小缺陷视觉检测方法，其特征在于，所述多尺度特征融合深度神经网络训练的方法包括：设计特征提取过程中的注意力机制CA；引入小目标检测层；采用ADAM函数对所述多尺度特征融合深度神经网络进行损失函数Loss(Π)训练优化。5.根据权利要求4所述基于多尺度特征融合的表面微小缺陷视觉检测方法，其特征在于，所述注意力机制CA的设计方法包括：给定一个C×H×W的特征图f，将所述特征图f在x和y方向进行平均池化，得到C×H×1大小的第一特征图和C×1×W大小的第二特征图；将所述第一特征图和所述第二特征图在空间通道进行连接和卷积激活操作得到定位特征向量D∈RC/r×l×(H+W)；利用两个卷积分别将x和y方向的特征图通道数变换为与输入通道数相同，将所述两个卷积的输出特征值相乘后输出一个C×H×W的特征图J；将所述特征图f进行全局平均池化和最大池化，得到1×H×W大小的第三特征图和1×H×W大小的第四特征图；将所述第三特征图和所述第四特征图在所述空间通道中连接并进行卷积，得到特征图F；将特征图J和特征图F输入SKFF模块对感受野进行动态调整后与输入特征图f相乘输出一个C×H×W的特征图G。6.根据权利要求4所述基于多尺度特征融合的表面微小缺陷视觉检测方法，其特征在于，所述小目标检测层的工作方法包括：给定一个输入特征图D∈RC×H×W；将所述特征图D∈RC×H×W经过卷积和上采样后得到特征图I′；2CN115775236A权利要求书2/2页将所述特征图I′与另一张相同尺寸的特征图I″连接，输出融合后的特征图7.根据权利要求4所述基于多尺度特征融合的表面微小缺陷视觉检测方法，其特征在于，所述损失函数Loss(Π)的优化过程如下式所示：式中，N为检测层个数，α为损失函数的权重，Lb为边界框损失函数，Lo为目标物损失函数，Lc为分类损失函数，IoU为交并比，I为最小外接矩形的对角线距离，W为预测框与真实框中心点距离，v为衡量长宽比一致的参数，n为标签数，Bi为目标值，Si为模型输出值。8.根据权利要求4所述基于多尺度特征融合的表面微小缺