基于多光源协同的表面缺陷检测方法及系统.pdf

(19)国家知识产权局(12)发明专利申请(10)申请公布号CN115272175A(43)申请公布日2022.11.01(21)申请号202210678974.XG06V10/82(2022.01)(22)申请日2022.06.16G06N3/04(2006.01)G06N3/08(2006.01)(71)申请人上海互觉科技有限公司地址201612上海市松江区新桥镇新腾路9号2幢3层303室(72)发明人李源琦刘潇颖(74)专利代理机构上海锻创知识产权代理有限公司31448专利代理师顾继光(51)Int.Cl.G06T7/00(2017.01)G06T7/13(2017.01)G06V10/141(2022.01)G06V10/46(2022.01)G06V10/80(2022.01)权利要求书2页说明书7页附图2页(54)发明名称基于多光源协同的表面缺陷检测方法及系统(57)摘要本发明提供了一种基于多光源协同的表面缺陷检测方法及系统，包括采集物体在不同方向光源照射下的一组图像；对训练集样本进行随机裁剪，并添加噪声，得到训练数据；每个分支均以一个三通道RGB图像作为输入，得到多分支特征信息；对网络进行搭建，使用最大池化将多分支特征信息进行融合，将数量不定的特征向量聚合为一个具有固定通道数的特征图，保留各个分支最显著的特征，得到待训练检测模型；使用训练数据，输入待训练检测模型，完成模型前向计算，得到已训练检测模型；将已训练检测模型用于实际工业质检场景中，对工件表面缺陷进行检测。本发明通过二维图像对物体的三维形状进行还原，解决了工业质检场景下三维缺陷难以检测与分类的问题。CN115272175ACN115272175A权利要求书1/2页1.一种基于多光源协同的表面缺陷检测方法，其特征在于，所述方法包括如下步骤：步骤S1：根据光度立体法的基本原理，以相同的相机视角，采集物体在不同方向光源照射下的一组图像，根据每个像素点的光照强度计算物体表面的法向量；步骤S2：使用仿真数据集BlobbyDataset和SculptureDataset作为训练集，对训练集样本进行随机裁剪，并添加噪声，得到训练数据；步骤S3：全卷积神经网络是一个多分支的暹罗网络，在输入端，各分支网络具有相同的配置、参数以及权重，每个分支均以一个三通道RGB图像作为输入，得到多分支特征信息；步骤S4：对网络进行搭建，使用最大池化将步骤S3输出的多分支特征信息进行融合，将数量不定的特征向量聚合为一个具有固定通道数的特征图，保留各个分支最显著的特征，得到待训练检测模型；步骤S5：使用步骤S2中得到的训练数据，输入步骤S4中得到的待训练检测模型，完成模型前向计算，得到已训练检测模型；步骤S6：将步骤S5中得到的已训练检测模型用于实际工业质检场景中，对工件表面缺陷进行检测。2.根据权利要求1所述的基于多光源协同的表面缺陷检测方法，其特征在于，所述步骤S1将相机方向固定竖直向下，设置四个不同方向的光源；各方向光源轮流照射待测物体，相机分别对单个光源照射下的物体进行拍摄，采集到的图像作为测试数据。3.根据权利要求1所述的基于多光源协同的表面缺陷检测方法，其特征在于，所述步骤S3中的每个单分支使用Darknet‑53的主干部分进行特征提取，使用特征金字塔结构进行特征融合；Darknet‑53共对输入图像进行五次降采样，压缩图像，减少参数；特征金字塔结构自上而下地将高层特征信息与低层特征信息融合，并传递到下一层，加强特征的提取，得到多分支特征信息。4.根据权利要求1所述的基于多光源协同的表面缺陷检测方法，其特征在于，所述步骤S4中将融合特征信息输入法向量回归网络；所述法向量回归网络设置有两个上采样层和一个逆卷积层；在法向量回归网络的末端采用L2归一化层统一特征向量的量纲，并生成表面法向量；网络搭建完成后，得到待训练检测模型。5.根据权利要求1所述的基于多光源协同的表面缺陷检测方法，其特征在于，所述步骤S5中的训练的结果采用预测法向量和真实法向量之间的估计误差进行监督；采用余弦相似度表示损失函数；通过损失函数计算实际输出和期望输出之间的差距，根据梯度反向传播算法，得到模型中能够学习参数的梯度，根据优化器配置完成梯度的参数更新，再次进行前向传播，反复迭代；随着损失函数逐渐减小，完成模型的训练，得到已训练检测模型。6.一种基于多光源协同的表面缺陷检测系统，其特征在于，所述系统包括如下模块：模块M1：根据光度立体法的基本原理，以相同的相机视角，采集物体在不同方向光源照射下的一组图像，根据每个像素点的光照强度计算物体表面的法向量；模块M2：使用仿真数据集BlobbyDataset和SculptureDataset作为训练集，对训练集样本进行随机裁剪，并添加噪声，得到训练数据；模块M3：全卷积神经