基于视觉清晰度与轮廓提取的熔池图像异常检测方法.pdf

(19)中华人民共和国国家知识产权局(12)发明专利申请(10)申请公布号CN108320280A(43)申请公布日2018.07.24(21)申请号201810040219.2(22)申请日2018.01.16(71)申请人南京理工大学地址210094江苏省南京市孝陵卫200号(72)发明人韩静徐林丽赵壮张玉伟王霄雯柏连发张毅张楚昊(74)专利代理机构南京苏创专利代理事务所(普通合伙)32273代理人张学彪(51)Int.Cl.G06T7/00(2017.01)G06T7/11(2017.01)G06T7/13(2017.01)G06T7/136(2017.01)G06T7/194(2017.01)权利要求书2页说明书4页附图2页(54)发明名称基于视觉清晰度与轮廓提取的熔池图像异常检测方法(57)摘要本发明提出了一种根据视觉清晰度的值与轮廓的宽度的变化从而判别该熔池图像所属异常类别的检测方法；本发明从图像视觉角度出发，结合清晰度以及轮廓提取的运算特性，先用清晰度算子进行初分类，再结合轮廓宽度对焊速进行再分类，在一定程度上减小了运算时间。且本发明所采用双光路视觉感知装置，有效的提高视觉轮廓和清晰度提取精度。CN108320280ACN108320280A权利要求书1/2页1.基于视觉清晰度与轮廓提取的熔池图像异常检测方法，其特征在于，包括以下步骤：步骤1：确定熔池图像可能出现的异常类别；步骤2：设计工艺参数协同感知FPGA模块，根据不同视觉计算需求，设计针对性成像方案；步骤3：对步骤2设计的光路采集正样本和各类负样本；步骤4：对采集的所有熔池图像样本进行中频拉伸处理并计算其清晰度值，根据结果分布，设定划分各类异常组的阈值，确定电流参数异常，电压参数异常以及保护气参数异常的清晰度范围；步骤5：将步骤4所得结果中电参数和保护气参数一致情况下的正常组进行轮廓特征信息的提取，进行数据分析从而得到不同焊速等级的分类结果，实现熔池焊速异常的检测。2.根据权利要求1所述的熔池视觉与工艺参数协同感知装置，其特征在于，步骤2所述的根据不同视觉计算需求，设计针对性成像方案，具体过程为：如计算熔池轮廓需要较强的边界对比度，可采用带通高曝光；计算熔池表面视觉清晰度需要抑制弧光，可采用高通低曝光；因此采用分光棱镜将熔池光束分为两束，一束采用850nm高通、一束采用650nm带通，形成双光谱视觉传感装置；且确保双光谱采样同步。3.根据权利要求1所述的基于视觉清晰度的熔池异常检测算法，其特征在于，步骤4所述的对采集的所有熔池图像样本进行中频拉伸处理并计算其清晰度值，包括以下步骤：步骤3-1：对所获得的熔池图像进行中频拉伸的预处理，提取图像中较为重要的细节分量；中频分量拉伸公式如下：式中，H(x,y)为拉伸后的图像频域，D(x,y)为原输入图像的频域，dl为中频拉伸的起始频率，dh为中频拉伸的截至频率，m，n为滤波器的阶数；步骤3-2：选用步骤3-1清晰度算子对图像的清晰度进行计算；步骤3-3：手动划定分类结果，找到清晰度值与起对应的类别关系；分别计算上述清晰度算子的值，手动设定各类异常结果的阈值，得出能量梯度算子的判别准确率最高，能量梯度的清晰度评价算子结果如下：即将图像行方向和列方向上相邻像素点的灰度值的差分相加得到的该图像的清晰度值，式中，I(x,y)为图像I在(x,y)处的灰度值，q(I)为该函数的输出结果清晰度值。4.根据权利要求1所述的基于清晰度和轮廓提取的的熔池异常检测算法，其特征在于，步骤3所述的在双光路条件下采集正样本和各类负样本，具体包括电流异常，电压异常，保护气异常以及焊速异常。5.根据权利要求1所述的基于清晰度和轮廓提取的的熔池异常检测算法，其特征在于，步骤5所述将步骤4所得结果中电参数和保护气参数一致情况下的正常组进行轮廓特征信息的提取的具体步骤为：2CN108320280A权利要求书2/2页步骤5-1：熔池的ROI设置；首先，设置大ROI去除多余的背景区域；其次，根据熔池的整体特性，即头部亮度较高且容易受弧光干扰，尾部半凝固区域亮度较低而干扰较少，可以将其分为ROI1和ROI2；根据头部和尾部区域的成像特性，分别进行小比例灰度拉伸，灰度拉伸公式如下：式中，对于小比例拉伸的值较小可以去除高亮区域，对于大比例拉伸的值较大，可以增强尾部整体的对比度；步骤5-2：熔池的分块预处理；对ROI1中灰度拉伸过的图像进行高斯滤波和开运算来减弱边缘处弧光的干扰，再用Canny算子进行低阈值边缘检测并滤除过小的边缘轮廓；由于ROI2区域的干扰较小，灰度分布相对比较均匀，因此对ROI2区域直接进行大津法阈值分割并用Canny算子进行高阈值边缘检测；步骤5-3：轮廓合并以及连接；将ROI1和ROI2检测到的边缘轮廓进行合并，并对图像的8邻域和16邻域进