基于域适应的跨场景带钢表面缺陷检测方法.pdf

(19)国家知识产权局(12)发明专利申请(10)申请公布号CN115035097A(43)申请公布日2022.09.09(21)申请号202210790005.3(22)申请日2022.07.05(71)申请人河北工业大学地址300130天津市红桥区丁字沽光荣道8号河北工业大学东院330#(72)发明人杨晓松刘坤石肖松孟蕊(74)专利代理机构天津翰林知识产权代理事务所(普通合伙)12210专利代理师蔡运红(51)Int.Cl.G06T7/00(2017.01)G06T3/00(2006.01)G06V10/40(2022.01)G06V10/764(2022.01)G06V10/82(2022.01)权利要求书2页说明书7页附图3页(54)发明名称基于域适应的跨场景带钢表面缺陷检测方法(57)摘要本发明为基于域适应的跨场景带钢表面缺陷检测方法，首先构建由风格扩充模块、特征提取器、域鉴别器和分类器构成的多级分布对齐域适应模型，风格扩充模块对源域和目标域图像进行风格扩充，生成与原始源域和目标域图像风格完全不同的源域和目标域图像，实现两域图像的像素级分布对齐；域鉴别器通过对源域图像和目标域图像进行对抗学习，为源域图像和目标域图像分配域标签，实现两域图像的特征级分布对齐；分类器用于得到分类结果，并基于投票机制生成伪标签，实现两域图像的类别级分布对齐；利用训练后的特征提取器和分类器构建缺陷检测模型。该方法提高了源域和目标域数据分布对齐程度，提高了缺陷检测模型对于跨场景带钢表面缺陷检测的泛化性能。CN115035097ACN115035097A权利要求书1/2页1.一种基于域适应的跨场景带钢表面缺陷检测方法，其特征在于，该方法包括以下步骤：步骤1、获取源域和目标域数据集；源域数据集由源域图像构成，源域图像为带有标签的缺陷图像；目标域数据集由目标域图像构成，目标域图像为待检测图像；步骤2、构建多级分布对齐域适应模型，多级分布对齐域适应模型包括风格扩充模块、特征提取器、域鉴别器和分类器；所述风格扩充模块包括多个风格变化子模块和一个风格融合模块，每个风格变化子模块均包括卷积层、实例归一化层、仿射变换和反卷积层；给定原始源域图像xs和原始目标域图像xt，每个风格变化子模块分别对原始源域图像和原始目标源图像进行风格变化，生成与原始源域和目标域图像风格完全不同的源域图像和目标域图像，实现两域图像的像素级s分布对齐；对于第i个风格变化子模块而言，首先利用卷积层提取得到两域图像的特征图fitstst和fi；然后，通过实例归一化层对特征图fi和fi进行实例归一化，得到特征图fi和fi的风格参数；实例归一化的表达式为：式中，μi,c、分别表示特征图通道上的均值和方差，H、W分别表示特征图的高度和宽度，xwh表示特征点(w,h)的像素值；st然后，利用可学习的风格参数θi＝(μi,σi)对特征图fi和fi的风格进行仿射变换，分别s't'生成新风格特征图fi和fi；仿射变换的表达式为：式中，gi(·)表示第i个风格变化子模块gi的仿射变换操作，fi,c表示第i个风格变化子模块gi卷积层提取到的通道c上的特征图，f′i,c表示通道c上的新风格特征图；s't'最后，新风格特征图fi和fi分别经过反卷积层生成与原始源域图像和目标域图像风格完全不同的源域图像和目标域图像，实现像素级的风格偏移；风格融合模块用于将所有风格变化子模块生成的源域图像和目标域图像分别进行加权求和，得到源域融合图像和目标域融合图像；加权求和的表达式为：式中，ωi表示初始值服从正态分布的可学习的自适应参数，取值为(0,1)之间的随机数；K表示风格变化子模块的数量，zi表示第i个风格变化子模块的输出图像，z′表示融合图像；将原始源域和原始目标域图像、生成的源域和目标域图像、源域和目标域融合图像均输入到特征提取器中，经过特征提取器后，得到各个图像的特征图；将特征提取器提取得到的各个特征图经过梯度反转后，再输入到域鉴别器中进行对抗学习，为各个特征图分配领2CN115035097A权利要求书2/2页域标签，实现两域图像的特征级分布对齐；同时，将特征提取器提取得到的各个特征图输入到分类器中，分类器基于硬投票方式对各个特征图进行缺陷类别投票，得到各个特征图属于不同缺陷类别的概率，并生成伪标签，实现两域图像的类别级分布对齐；硬投票是指分类器输出的缺陷类别为所有投票结果中出现次数最多的类别；步骤3、调整源域和目标域数据集中图像的大小，以小批量的形式将源域图像和目标域图像同时输入到多级分布对齐域适应模型中，对多级分布对齐域适应模型进行训练，得到训练后的风格扩充模块、特征提取器、域鉴别器和分类器；步骤4、利用训练后的特征提取器和分类器构建缺陷检测模型，将待检测图像输入到训练后的特征提取器中得到特征图，特征图经过分类器