基于生成对抗网络的缺陷检测数据生成、检测方法及系统.pdf

(19)国家知识产权局(12)发明专利申请(10)申请公布号CN115937627A(43)申请公布日2023.04.07(21)申请号202211465429.9G06V10/82(2022.01)(22)申请日2022.11.22G06N3/04(2023.01)G06N3/0475(2023.01)(71)申请人湖南大学G06N3/094(2023.01)地址410006湖南省长沙市岳麓区麓山南G06T7/00(2017.01)路1号申请人江西省通讯终端产业技术研究院有限公司(72)发明人周显恩周新城朱青陈家泳王飞文邓述海吴成中王耀南(74)专利代理机构湖南盈奥知识产权代理事务所(普通合伙)43282专利代理师姚瑶龚燕妮(51)Int.Cl.G06V10/774(2022.01)G06V10/764(2022.01)权利要求书3页说明书11页附图2页(54)发明名称基于生成对抗网络的缺陷检测数据生成、检测方法及系统(57)摘要本发明公开了基于生成对抗网络的缺陷检测数据生成、检测方法及系统，该方法包括：获取目标对象的图像及缺陷标签；进而训练分类模型用于输出缺陷标签；再构建基于高斯模型组的生成对抗网络模型，并对生成器和判别器进行交替式训练。其中，生成器的第2‑N个全连接层分别连接一组高斯模型，即将每一组高斯模型采样的缺陷向量和对应高斯模型的系数乘积，与对应全连接层的权重系数进行线性运算；最后将目标对象的图像的像素网格坐标输入训练好的生成对抗网络模型，通过控制高斯模型组的系数生成各类缺陷图像。本发明通过上述方法生成大量具有用户所需缺陷属性的图像数据，解决传统对抗生成网络具有的生成数据不均衡、属性不可控的技术问题。CN115937627ACN115937627A权利要求书1/3页1.一种基于生成对抗网络的缺陷检测数据生成方法，其特征在于：包括以下步骤：步骤1：获取目标对象的训练数据集，所述训练数据集包括目标对象的图像及缺陷标签；步骤2：利用所述训练数据集训练分类模型，所述分类模型的输入为目标对象的图像，输出为目标对象的图像的缺陷标签；步骤3：构建基于高斯模型组的生成对抗网络模型，并对所述生成对抗网络模型中的生成器和判别器进行交替式训练；其中，所述生成对抗网络模型的生成器采用基于全连接网络层的多层感知机结构，且第1个全连接层引入从标准正太分布中采样的随机向量，即所述随机向量与第一个全连接层的权重系数进行线性运算；第2至N+1个全连接层分别连接一组高斯模型，即每将一组高斯模型采样的缺陷向量和对应高斯模型系数的乘积，与对应全连接层的权重系数进行线性运算；每一类缺陷对应一组高斯模型，N为缺陷类别数；所述生成器的输入为目标对象的图像的像素网格坐标，输出为生成图像；所述生成器的训练是指通过约束1和约束2优化生成器以及高斯模型组的参数，其中，所述约束1是利用所述判别器约束所述生成器的生成图像为逼真图像；所述约束2是将所述生成器的生成图像输入所述分类模型得到缺陷标签，再约束所述缺陷标签与所述高斯模型组的系数之间保持一致；步骤4：将目标对象的图像的像素网格坐标输入训练好的所述生成对抗网络模型，通过控制高斯模型组的系数生成所述目标对象的各类缺陷图像。2.根据权利要求1所述的缺陷检测数据生成方法，其特征在于：从一组高斯模型中采样的缺陷向量表示为：其中，zi表示从第i组高斯模型p(z|ui,Σi)中采样的缺陷向量，(ui,Σi)为第i组高斯模型p(z|ui,Σi)中待优化的高斯模型的参数，ui、Σi分别为高斯分布的均值、协方差，z'～p(z|0,I)表示从标准正态分布p(z|0,I)中采样的向量，z为所述随机向量，I表示单位矩阵。3.根据权利要求1所述的缺陷检测数据生成方法，其特征在于：以所述约束1和所述约束2优化生成器以及高斯模型组参数的训练过程，对应的优化目标函数表示为：其中，Loss为生成器的损失函数，G(z,αizi)表示生成器生成的生成图像，D(G(z,αizi))是将生成图像输入判别器得到的判别结果，即约束1对应的损失函数；z为从标准正太分布中采样的随机向量，zi表示从第i组高斯模型中采样的缺陷向量，αi表示第i组高斯模型的系数；f(G(z,αizi))表示将生成图像输入所述分类模型得到的分类标签，α表示由N组高斯模型的系数构成的高斯模型组的系数向量，|f(G(z,αizi))‑α|是约束2对应的损失函数；G表示生成器，D表示判别器，(ui,Σi)为第i组高斯模型的待优化参数，ui、Σi分别为高斯分布的均值、协方差。4.根据权利要求1所述的缺陷检测数据生成方法，其特征在于：输入所述生成器的图像坐标网格的大小为：2×H×W，H×W为生成器生成的生成图像的分辨率；基于所述坐标网格，输入所述生成器的图像的像素网格坐标表示为：(x,y)，x,y的值