图像缺陷检测方法、装置、设备、存储介质和程序产品.pdf

(19)国家知识产权局(12)发明专利申请(10)申请公布号CN114943708A(43)申请公布日2022.08.26(21)申请号202210586712.0G06V10/82(2022.01)(22)申请日2022.05.26G06N3/08(2006.01)(71)申请人北京沃东天骏信息技术有限公司地址100176北京市大兴区经济技术开发区科创十一街18号院2号楼4层A402室申请人北京京东世纪贸易有限公司(72)发明人袁肇飞徐邵稀付学宝邹军唐文博(74)专利代理机构北京派特恩知识产权代理有限公司11270专利代理师贾伟胡春光(51)Int.Cl.G06T7/00(2017.01)G06V10/764(2022.01)G06V10/774(2022.01)权利要求书2页说明书13页附图6页(54)发明名称图像缺陷检测方法、装置、设备、存储介质和程序产品(57)摘要本申请实施例提出了一种图像缺陷检测方法、装置、电子设备、计算机存储介质和计算机程序产品，该方法包括：获取第一样本集；根据所述第一样本集对第一初始模型进行预训练，得到训练完成的第一模型；所述第一样本集包括多张无缺陷图像；获取第二样本集；根据所述第二样本集对第二初始模型进行训练，得到训练完成的第二模型；所述第二样本集包括设置有正样本标签的无缺陷图像和设置有负样本标签的有缺陷图像；其中，所述第二初始模型是基于所述第一模型得到的；获取待检测图像，使用所述第二模型对所述待检测图像进行缺陷检测。CN114943708ACN114943708A权利要求书1/2页1.一种图像缺陷检测方法，其特征在于，所述方法包括：获取第一样本集；根据所述第一样本集对第一初始模型进行预训练，得到训练完成的第一模型；所述第一样本集包括多张无缺陷图像；获取第二样本集；根据所述第二样本集对第二初始模型进行训练，得到训练完成的第二模型；所述第二样本集包括设置有正样本标签的无缺陷图像和设置有负样本标签的有缺陷图像；其中，所述第二初始模型是基于所述第一模型得到的；获取待检测图像，使用所述第二模型对所述待检测图像进行缺陷检测。2.根据权利要求1所述的方法，其特征在于，所述根据所述第一样本集对第一初始模型进行预训练，包括：获取所述第一样本集中的每张图像，将所述第一样本集中的每张图像调整到固定尺寸；对调整后的每张图像进行预处理操作；基于预处理操作后的每张图像，对所述第一初始模型进行预训练。3.根据权利要求2所述的方法，其特征在于，所述基于预处理操作后的每张图像，对所述第一初始模型进行预训练，包括：将所述预处理操作后的每张图像划分为大小相等的图像小块；对所述划分后的每张图像的图像小块进行扁平化处理，得到第一图像块序列；将所述第一图像块序列和第一嵌入向量进行组合，得到第一图像块向量序列；所述第一嵌入向量包括旋转嵌入向量和位置嵌入向量；将所述第一图像块向量序列输入至第一初始模型进行预训练。4.根据权利要求3所述的方法，其特征在于，在所述预处理操作包括Mask操作的情况下，所述将所述第一图像块向量序列输入至第一初始模型进行预训练，包括：将所述第一图像块向量序列输入至所述第一初始模型，得到输出的图像块序列；将所述输出的图像块序列投影至图像空间，得到重建图像；基于所述重建图像和所述Mask操作前的图像确定重建损失；基于所述Mask操作前的图像的类别标签确定旋转损失；所述类别标签是根据所述Mask操作前的图像的旋转角度对应设置的；根据所述重建损失和所述旋转损失，对所述第一初始模型进行预训练。5.根据权利要求1所述的方法，其特征在于，所述根据所述第二样本集对第二初始模型进行训练，包括：获取所述第二样本集中的每张图像，将所述第二样本集中的每张图像调整到固定尺寸；将调整后的每张图像划分为大小相等的图像小块，对所述划分后的每张图像对应的图像小块进行扁平化处理，得到第二图像块序列；将所述第二图像块序列与第二嵌入向量进行组合，得到第二图像块向量序列；所述第二嵌入向量包括分类嵌入向量和位置嵌入向量；将所述第二图像块序列输入至所述第二初始模型，得到每张图像的缺陷分类结果；基于所述每张图像的缺陷分类结果和设置的样本标签类型，确定分类损失；根据所述分类损失，对所述第二初始模型进行训练。2CN114943708A权利要求书2/2页6.根据权利要求1至5任一项所述的方法，其特征在于，所述方法还包括：在得到训练完成的第一模型后，获取所述第一模型的骨干网络；所述骨干网络为ViT网络；对所述第一模型的ViT网络添加分类头，得到所述第二初始模型；所述分类头用于得到图像缺陷类别。7.根据权利要求6所述的方法，其特征在于，所述对所述第一模型的ViT网络添加分类头，得到所述第二初始模型，包括：在对所述第一模型的ViT网络添加分类头的基础上，添加检测头，得到所述