一种基于卷积神经网络的X射线焊缝缺陷检测方法.pdf

(19)中华人民共和国国家知识产权局(12)发明专利申请(10)申请公布号CN113674247A(43)申请公布日2021.11.19(21)申请号202110965549.4(22)申请日2021.08.23(71)申请人河北工业大学地址300130天津市红桥区丁字沽光荣道8号河北工业大学东院330#(72)发明人刘卫朋山圣旗王睿陈海永孙嘉明崔晓锋(74)专利代理机构天津翰林知识产权代理事务所(普通合伙)12210代理人付长杰(51)Int.Cl.G06T7/00(2017.01)G06K9/32(2006.01)G06K9/62(2006.01)G06N3/04(2006.01)权利要求书3页说明书9页附图7页(54)发明名称一种基于卷积神经网络的X射线焊缝缺陷检测方法(57)摘要本发明为一种基于卷积神经网络的X射线焊缝缺陷检测方法，该检测方法包括以下内容：建立包含不同种类焊缝缺陷的焊缝图像数据集，数据集中所有焊缝图片标注焊缝标签；建立AF‑RCNN模型，AF‑RCNN模型包括主干网络模块、区域生成模块和目标分类与位置回归模块；所述主干网络模块采用残差网络(ResNet)与特征金字塔网络(FPN)结构，并在残差网络(ResNet)与特征金字塔网络(FPN)之间引入高效卷积注意力模块，以增强网络对不明显缺陷和小目标特征的学习能力，同时引入CIOU损失函数，增强瞄框的定位能力；利用建立的数据集训练AF‑RCNN模型，用于焊缝缺陷的分类与定位。所有的缺陷准确率均达到94％以上，检测速度为11.65FPS。CN113674247ACN113674247A权利要求书1/3页1.一种基于卷积神经网络的X射线焊缝缺陷检测方法，其特征在于，该检测方法包括以下内容：建立包含不同种类焊缝缺陷的焊缝图像数据集，数据集中所有焊缝图片标注焊缝标签；建立AF‑RCNN模型，AF‑RCNN模型包括主干网络模块、区域生成模块和目标分类与位置回归模块；所述主干网络模块采用残差网络(ResNet)与特征金字塔网络(FPN)结构，并在残差网络(ResNet)与特征金字塔网络(FPN)之间引入高效卷积注意力模块，以增强网络对不明显缺陷和小目标特征的学习能力，同时引入CIOU损失函数，增强瞄框的定位能力；利用建立的数据集训练AF‑RCNN模型，用于焊缝缺陷的分类与定位。2.根据权利要求1所述的检测方法，其特征在于，所述数据集的建立过程是：采集焊缝缺陷X射线原始图片，原始图片的大小为3000*1000以上，原始图片的数量为10‑30张，每张原始图片中包含不同种焊缝缺陷；利用滑动窗口的方式将每张原始图片按照160×160、240×240以及320×320三种不同像素大小分割为若干数量的小图片，并统一尺度为160×160像素，获得小图片集合，从小图片集合中选取具有缺陷特征的图片，按照不同的缺陷类型进行分类，形成最终的焊缝图像数据集，数据集包括同时含有多种缺陷的图片，同一缺陷在最终的焊缝图像数据集图像中大小不同，使缺陷分布在数据集图片中的不同位置，相同的缺陷呈现出不同的大小，以保证数据集的多样性；利用lableimg软件进行人工标注焊缝标签，并保存为PascalVOC数据集的格式，以此得到统一尺寸的新的焊缝图像数据集；将所有标注的焊缝图片随机分为训练集、验证集和测试集，其数量比例为4:3:3，焊缝缺陷包括气孔p、夹渣s、未熔合lof、未焊透lop、裂纹c、咬边u共六种类型。3.根据权利要求1所述的检测方法，其特征在于，所述残差网络ResNet共有五层，分别为C1、C2、C3、C4、C5层，其中共包括了16个残差模块；所述残差模块包括三个依次连接的卷积层，输入x经第一个卷积层和Relu激活函数，进入第二个和第三个卷积层，第三个卷积层的输出和原始输入x做残差，得到残差模块的输出；每个残差模块只需要学习输入与输出的残差，最终输出F(x)+x作为下一个残差模块的输入；其中C1层包括160*160的输入层、卷积核为7×7的卷积层、池化层；C2层内共有三个残差模块，每个残差模块的三个卷积层依次为：1×1Conv,64,1,1、3×3Conv,64,3,1、1×1Conv,256,1,1，C2层第一个残差模块的输入和输出之间设置有1×1Conv,256,1,1的卷积层；C3层内共有四个残差模块，每个残差模块的三个卷积层依次为：1×1Conv,128,1,1、3×3Conv,128,3,1、1×1Conv,512,1,1，C3层第一个残差模块的输入和输出之间设置有1×1Conv,512,1,2的卷积层；C4层内共有六个残差模块，每个残差模块的三个卷积层依次为：1×1Conv,256,1,1、3×3Conv,256,3,2、1×1Conv,1024,1,1，C3层第一个残差模块的输入和输