一种基于强化特征融合的Sparse-rcnn的布匹瑕疵检测方法.pdf

(19)国家知识产权局(12)发明专利申请(10)申请公布号CN115861200A(43)申请公布日2023.03.28(21)申请号202211474544.2G06N3/0464(2023.01)(22)申请日2022.11.23(71)申请人河南大学地址475001河南省开封市顺河区明伦街85号(72)发明人庞子龙术安楠蒋奇臻韩云琦甘志华柴秀丽(74)专利代理机构郑州大通专利商标代理有限公司41111专利代理师刘莹莹(51)Int.Cl.G06T7/00(2017.01)G06V10/44(2022.01)G06V10/82(2022.01)G06N3/08(2023.01)权利要求书2页说明书6页附图2页(54)发明名称一种基于强化特征融合的Sparse-rcnn的布匹瑕疵检测方法(57)摘要本发明提供一种基于强化特征融合的Sparse‑rcnn的布匹瑕疵检测方法。该方法包括：步骤1：收集不同光源下的瑕疵图像和模板图像，对瑕疵图像中的瑕疵进行人工标注；其中，瑕疵图像是指有瑕疵的布匹图像，模板图像是指无瑕疵的布匹图像；步骤2：对收集到的所有图像数据进行预处理；步骤3：将预处理后的图像数据进行差值组合三通道处理，得到新的三通道，将新的三通道输入至预先构建好的基于强化特征融合的Sparse‑rcnn的布匹瑕疵检测网络模型进行训练；步骤4：将待检测布匹图像输入至训练好的所述布匹瑕疵检测网络模型，得到瑕疵检测结果。CN115861200ACN115861200A权利要求书1/2页1.一种基于强化特征融合的Sparse‑rcnn的布匹瑕疵检测方法，其特征在于，包括：步骤1：收集不同光源下的瑕疵图像和模板图像，对瑕疵图像中的瑕疵进行人工标注；其中，瑕疵图像是指有瑕疵的布匹图像，模板图像是指无瑕疵的布匹图像；步骤2：对收集到的所有图像数据进行预处理；步骤3：将预处理后的图像数据进行差值组合三通道处理，得到新的三通道，将新的三通道输入至预先构建好的基于强化特征融合的Sparse‑rcnn的布匹瑕疵检测网络模型进行训练；步骤4：将待检测布匹图像输入至训练好的所述布匹瑕疵检测网络模型，得到瑕疵检测结果；其中，所述的布匹瑕疵检测网络模型的结构：包括骨干网络、动态实例交互头和分类回归层；所述骨干网络采用基于DHLC架构的FPN，具体包括：将k个完全相同的resnet101的backbone分成两组，其中的k‑1个backbone构成第一组，剩下的1个backbone单独作为第二组；第一组中的所有backbone通过DHLC架构连接后作为辅助骨干；第二组作为主导骨干。2.根据权利要求1所述的一种基于强化特征融合的Sparse‑rcnn的布匹瑕疵检测方法，所述预处理包括：灰度化处理和高斯滤波处理。3.根据权利要求1所述的一种基于强化特征融合的Sparse‑rcnn的布匹瑕疵检测方法，步骤3中，所述的将预处理后的图像数据进行差值组合三通道处理，得到新的三通道，具体包括：将已标注的待检测图像作为第一通道；将模板图像作为第二通道；将已标注的待检测图像与模板图像进行向量减操作，操作结果作为第三通道。4.根据权利要求1所述的一种基于强化特征融合的Sparse‑rcnn的布匹瑕疵检测方法，其特征在于，所述辅助骨干具体包括：P1层特征提取模块、P2层特征提取模块、P3层特征提取模块、P4层特征提取模块和P5层特征提取模块；其中，后四个特征提取模块的结构相同；Pl表示对输入的特征图进行l倍下采样，l＝1,2,3,4,5；所述P1层特征提取模块的特征提取过程包括：输入的特征图依次经过64个尺寸为7的卷积核、BN层、线性激活层Relu和最大池化层进行处理，得到特征图C1；接着采用SE模块对特征图C1进行下采样处理得到特征图C1’；所述P2层特征提取模块模块的特征提取过程包括三个子过程，分别为：输入的特征图依次经过64个尺寸为1的卷积核和线性激活层Relu；输入的特征图依次经过64个尺寸为3的卷积核和线性激活层Relu；输入的特征图依次经过256个尺寸为1的卷积核和线性激活层Relu得到特征图C2；接着采用SE模块对特征图C2进行下采样处理得到特征图C2’；同理，将所述P3层特征提取模块提取的特征图分别记作特征图C3和特征图C3’；将所述P4层特征提取模块提取的特征图分别记作特征图C4和特征图C4’；将P5层特征提取模块提取的特征图分别记作特征图C5和特征图C5’。5.根据权利要求4所述的一种基于强化特征融合的Sparse‑rcnn的布匹瑕疵检测方法，其特征在于，各特征提取模块中的SE模块对特征图的处理过程具体包括：待处理的尺寸为W×H×C的特征图依次经过全局池化层、全连接层和激活函数层，得到1×1×C向量；待处理的尺寸为W×H×C的特征图与得到的1×1×C向量进行权