基于掩膜生成对抗网络的电饭煲内胆图像数据增强方法.pdf

(19)国家知识产权局(12)发明专利申请(10)申请公布号CN115908379A(43)申请公布日2023.04.04(21)申请号202211636253.9G06N3/084(2023.01)(22)申请日2022.12.20(71)申请人华南理工大学地址510640广东省广州市天河区五山路381号(72)发明人徐浩李丰润陆璐冼允廷(74)专利代理机构广州市华学知识产权代理有限公司44245专利代理师杨望仙(51)Int.Cl.G06T7/00(2017.01)G06V10/28(2022.01)G06V10/82(2022.01)G06N3/0464(2023.01)G06N3/0475(2023.01)权利要求书2页说明书5页附图3页(54)发明名称基于掩膜生成对抗网络的电饭煲内胆图像数据增强方法(57)摘要本发明涉及数字图像处理与识别技术领域，为基于掩膜生成对抗网络的电饭煲内胆图像数据增强方法，包括构建电饭煲内胆图像的真实样本数据集，根据真实样本数据集的电饭煲内胆图片生成掩膜二值图数据集；构建一个生成对抗网络，训练生成对抗网络；将混合掩膜数据集的掩膜二值图数据输入训练好的生成对抗网络中，生成伪样本数据集；通过真实图像训练YOLOv5网络作为生成质量判别器，对伪样本进行筛选得到筛选后的伪样本数据集；将筛选后的伪样本数据集与真实样本数据集混合，得到增强后的电饭煲内胆图像数据集。本发明通过生成数据增强后的电饭煲内胆缺陷图像数据集，有效提高了基于深度学习的电饭煲内胆缺陷检测的检测精度。CN115908379ACN115908379A权利要求书1/2页1.基于掩膜生成对抗网络的电饭煲内胆图像数据增强方法，其特征在于，包括：S1、通过工业摄像头拍摄电饭煲内胆图片，对电饭煲内胆图片进行缺陷标注，构建电饭煲内胆图像的真实样本数据集；S2、根据真实样本数据集的每一张电饭煲内胆图片生成相应的掩膜二值图，得到掩膜二值图数据集；S3、构建生成对抗网络，初始化生成对抗网络的网络权重，采用逐渐增加分辨率的方式对生成抗网络进行训练；S4、对掩膜二值图数据做随机变换得到扩充掩膜二值图数据集，将扩充掩膜二值图数据集与掩膜二值图数据集混合得到混合掩膜数据集，将混合掩膜数据集的掩膜二值图数据输入训练好的生成对抗网络中，生成伪样本数据集；S5、通过真实样本数据集训练YOLOv5网络作为生成质量判别器，利用生成质量判别器判别伪样本的质量，去除质量低的伪样本，得到筛选后的伪样本数据集；S6、将筛选后的伪样本数据集与真实样本数据集混合，得到增强后的电饭煲内胆图像数据集。2.根据权利要求1所述的基于掩膜生成对抗网络的电饭煲内胆图像数据增强方法，其特征在于，所述对电饭煲内胆图片进行缺陷标注，包括：对存在缺陷的电饭煲内胆对应的电饭煲内胆图片进行缺陷标注，记录应电饭煲内胆图片中缺陷区域的位置和类别。3.根据权利要求2所述的基于掩膜生成对抗网络的电饭煲内胆图像数据增强方法，其特征在于，所述根据真实样本数据集的每一张电饭煲内胆图片生成相应的掩膜二值图，包括：将电饭煲内胆图片初始化一张灰度图，所有像素的灰度值均为0，将缺陷区域的位置内的像素点均设置为255。4.根据权利要求2所述的基于掩膜生成对抗网络的电饭煲内胆图像数据增强方法，其特征在于，所述生成对抗网络，生成对抗网络包括生成器和判别器，生成器为一个12层的UNet网络结构，判别器为六层的卷积神经网络，每个卷积层的大小为3×3、步长为2。5.根据权利要求1所述的基于掩膜生成对抗网络的电饭煲内胆图像数据增强方法，其特征在于，所述采用逐渐增加分辨率的方式对生成抗网络进行训练，包括：训练生成对抗网络，将掩膜二值图输入生成器中得到生成图，将生成图输入判别器中获得判别指标；生成器和判别器均先删去部分卷积层，随着训练迭代次数的逐渐增加卷积层数量，直到生成器输出的图像分辨率与真实图像的分辨率一致。6.根据权利要求5所述的基于掩膜生成对抗网络的电饭煲内胆图像数据增强方法，其特征在于，所述生成器和判别器均先删去部分卷积层，随着训练迭代次数的逐渐增加卷积层数量，直到输出的图像分辨率与真实图像的分辨率一致，包括：先将生成器和判别器的后五个卷积层删去，生成器输出的图像分辨率大小为10×10，每当训练4000次恢复生成器和判别器的一个卷积层，将输出的图像分辨率提升一倍；当训练结束时，输出的图像分辨率等于输入图像的分辨率，输入图像的分辨率大小为640×640。7.根据权利要求5所述的基于掩膜生成对抗网络的电饭煲内胆图像数据增强方法，其特征在于，所述生成对抗网络的目标损失函数为：V(D,G)＝Ex[log(D(x))]+Em[1‑log(D(G(m)))]其中，x为真实图像，m为掩膜输入，G代表生成器，D代表判别器。2CN115908379A权利要