基于生成对抗网络的双耳销钉缺陷样本的生成方法及装置.pdf

(19)中华人民共和国国家知识产权局(12)发明专利申请(10)申请公布号CN112668623A(43)申请公布日2021.04.16(21)申请号202011529353.2G06N3/08(2006.01)(22)申请日2020.12.22B61K9/00(2006.01)(71)申请人中国铁道科学研究院集团有限公司地址100081北京市海淀区大柳树路2号申请人中国铁道科学研究院集团有限公司基础设施检测研究所北京铁科英迈技术有限公司(72)发明人杜馨瑜顾子晨高绍兵邱健珲程雨(74)专利代理机构北京三友知识产权代理有限公司11127代理人薛平周晓飞(51)Int.Cl.G06K9/62(2006.01)G06N3/04(2006.01)权利要求书3页说明书9页附图3页(54)发明名称基于生成对抗网络的双耳销钉缺陷样本的生成方法及装置(57)摘要本发明公开了一种基于生成对抗网络的双耳销钉缺陷样本的生成方法及装置，其中该方法包括：采集双耳销钉样本图像，得到双耳销钉样本图像数据集；双耳销钉样本图像数据集包括正常样本图像及缺陷样本图像数据集；使用双耳销钉样本图像数据集训练CycleGAN模型，得到成对样本图像数据集；成对样本图像包括：正常样本图像及对应生成的缺陷样本图像；使用成对样本图像数据集，训练Pix2Pix网络模型，得到基于生成对抗网络的双耳销钉缺陷样本。本发明结合多种生成对抗网络模型特点，能通过处理正常样本有效地生成对应效果逼真的缺陷样本图像，为后续训练缺陷检测模型提供平衡且特征丰富的数据集，进而使得模型取得良好的训练效果。CN112668623ACN112668623A权利要求书1/3页1.一种基于生成对抗网络的双耳销钉缺陷样本的生成方法，其特征在于，包括：采集双耳销钉样本图像，得到双耳销钉样本图像数据集；所述双耳销钉样本图像数据集包括正常样本图像数据集及缺陷样本图像数据集；使用双耳销钉样本图像数据集训练循环一致性生成对抗网络CycleGAN模型，得到成对样本图像数据集；所述成对样本图像包括：正常样本图像及根据正常样本图像生成的缺陷样本图像；使用所述成对样本图像数据集，训练Pix2Pix网络模型，得到基于生成对抗网络的双耳销钉缺陷样本。2.如权利要求1所述的基于生成对抗网络的双耳销钉缺陷样本的生成方法，其特征在于，使用双耳销钉样本图像数据集训练循环一致性生成对抗网络CycleGAN模型，得到成对样本图像数据集，包括：使用双耳销钉样本图像数据集训练CycleGAN模型中的两个判别器，使第一判别器能判别输入的样本图像是否为正常样本图像，第二判别器能判别输入的样本图像是否为缺陷样本图像；将正常样本图像输入CycleGAN模型中的第一生成器，得到第一生成器生成的缺陷样本图像，将第一生成器生成的缺陷样本图像与采集的缺陷样本图像分别输入至所述第二判别器，得到CycleGAN模型中的最小化第一损失函数及第一损失函数最小化时对应的生成的缺陷样本图像；将损失函数最小化时对应的生成的缺陷样本图像输入CycleGAN模型中的第二生成器，得到CycleGAN模型中的最小化第二损失函数；根据最小化第一损失函数和最小化第二损失函数，得到CycleGAN网络的总损失函数；将CycleGAN网络的总损失函数最小化时对应的第一生成器作为CycleGAN网络最优生成器，根据CycleGAN网络最优生成器，得到CycleGAN网络最优生成器对应的正常样本图像及根据正常样本图像生成的缺陷样本图像。3.如权利要求2所述的基于生成对抗网络的双耳销钉缺陷样本的生成方法，其特征在于，所述第一损失函数为：所述第二损失函数为：所述CycleGAN网络的总损失函数为：其中，G代表CycleGAN网络的第一生成器，F代表CycleGAN网络的第二生成器，x代表采集的正常样本图像，y代表采集的缺陷样本图像，G(x)为第一生成器生成的缺陷样本图像，DY代表CycleGAN网络的第二判别器，λc为超参数。4.如权利要求2所述的基于生成对抗网络的双耳销钉缺陷样本的生成方法，其特征在于，使用所述成对样本图像数据集，训练Pix2Pix网络模型，得到基于生成对抗网络的双耳销钉缺陷样本，包括：将采集的正常样本图像输入Pix2Pix网络的图像生成器，得到Pix2Pix网络图像生成器2CN112668623A权利要求书2/3页生成的缺陷样本图像，将采集的正常样本图像与Pix2Pix网络图像生成器生成的缺陷样本图像组成第一样本图像对；将CycleGAN网络最优生成器对应的正常样本图像及根据正常样本图像生成的缺陷样本图像构成第二样本图像对；利用所述第一样本图像对和第二样本图像对训练Pix2Pix网络，得到Pix2Pix网络损失函数最小时对应的图像生成器作为Pix2Pix网络最优生成器，根据Pix2P