云边协同场景下基于深度互学习的卷烟包装缺陷检测方法.pdf

(19)国家知识产权局(12)发明专利申请(10)申请公布号CN115760739A(43)申请公布日2023.03.07(21)申请号202211400989.6(22)申请日2022.11.09(71)申请人浙江中烟工业有限责任公司地址310008浙江省杭州市上城区中山南路77号(72)发明人朱立明章军赵春晖许啸振李盈萱张利宏许小双(74)专利代理机构北京维澳专利代理有限公司11252专利代理师常小溪(51)Int.Cl.G06T7/00(2017.01)G06T5/50(2006.01)G06N3/0455(2023.01)G06N3/08(2023.01)权利要求书2页说明书9页附图1页(54)发明名称云边协同场景下基于深度互学习的卷烟包装缺陷检测方法(57)摘要本发明公开了一种云边协同场景下基于深度互学习的卷烟包装缺陷检测方法，基于不同边缘端的卷烟包装图像样本构建缺陷检测数据集，并搭建参数量不同的大小缺陷检测模型及云端的全局模型，利用缺陷检测数据集并交替循环执行互学习策略及云边协同场景下的全局参数更新策略训练模型，固定训练好的各边缘端的小模型参数并得到重构误差阈值；利用边缘端的小模型处理待测包装外观图像得到重构后图像，根据重构后图像的重构误差与重构误差阈值的比对关系，判定是否存在外观缺陷。本发明结合了云边协同的框架，融合了不同卷烟厂及卷烟生产线之间的信息，打破了工业生产中的信息孤岛，有效解决了因成像设备不同造成的数据分布差异的问题。CN115760739ACN115760739A权利要求书1/2页1.一种云边协同场景下基于深度互学习的卷烟包装缺陷检测方法，其特征在于，包括：基于不同的边缘端在生产过程中得到的卷烟包装图像样本，构建缺陷检测数据集，并在各个边缘端搭建基于深度自编码器的第一缺陷检测模型和第二缺陷检测模型，以及在云端构建缺陷检测全局模型；其中，所述第一缺陷检测模型的参数量大于所述第二缺陷检测模型；在云端初始化缺陷检测全局模型的参数，并基于全局模型的初始化后的参数初始化第一缺陷检测模型的参数，以及随机初始化第二缺陷检测模型的参数；利用所述缺陷检测数据集并结合互学习策略训练第一缺陷检测模型、第二缺陷检测模型；且同步交替循环执行：结合云边协同场景下的全局参数更新策略，在云端汇总并优化第一缺陷检测模型的参数；训练完成后，保存各边缘端的第二缺陷检测模型的参数，并得到重构误差阈值；采集待测卷烟包装外观图像；利用所述第二缺陷检测模型处理待测卷烟包装外观图像，得到重构后图像；计算重构后图像的重构误差，并根据所述重构误差与所述重构误差阈值的比对关系，判定待测卷烟包装是否存在外观缺陷。2.根据权利要求1所述的云边协同场景下基于深度互学习的卷烟包装缺陷检测方法，其特征在于，所述得到重构误差阈值包括：统计重构损失的均值以及方差，融合所述均值和方差得到所述重构误差阈值。3.根据权利要求1所述的云边协同场景下基于深度互学习的卷烟包装缺陷检测方法，其特征在于，所述得到的卷烟包装图像样本包括：针对各边缘端，采用标注关键区域的方式，裁剪并得到卷烟包装图像样本的有效区域。4.根据权利要求1所述的云边协同场景下基于深度互学习的卷烟包装缺陷检测方法，其特征在于，基于深度自编码器搭建缺陷检测模型的方式包括：由一个多层二维卷积构成的编码器和一个有多层二维反卷积组成的解码器构成，分别用于将输入的卷烟包装图像映射为隐空间特征，以及利用隐空间特征恢复卷烟包装图像。5.根据权利要求1所述的云边协同场景下基于深度互学习的卷烟包装缺陷检测方法，其特征在于，所述得到重构后图像包括：对待测卷烟包装外观图像的有效区域进行剪裁和缩放处理后，采用第二缺陷检测模型对待测卷烟包装图像的有效区域进行重构。6.根据权利要求1～5任一项所述的云边协同场景下基于深度互学习的卷烟包装缺陷检测方法，其特征在于，所述互学习策略包括：输入所述缺陷检测数据集中的正常卷烟包装图像，分别使用第一缺陷检测模型和第二缺陷检测模型的特征提取器提取特征后，再分别使用第一缺陷检测模型和第二缺陷检测模型的解码器对应得到重构后的卷烟包装图像，并使用第一损失优化第一缺陷检测模型和第二缺陷检测模型对于正常卷烟包装图像样本的重构能力；基于特征蒸馏方法，使第一缺陷检测模型和第二缺陷检测模型相互学习，并使用第二损失约束第一缺陷检测模型和第二缺陷检测模型对于同一张卷烟包装图像所得到的隐空间特征的相似性；其中，边缘端的第一缺陷检测模型和第二缺陷检测模型模型的损失函数包括重构损失和特征蒸馏损失。2CN115760739A权利要求书2/2页7.根据权利要求1～5任一项所述的云边协同场景下基于深度互学习的卷烟包装缺陷检测方法，其特征在于，所述结合云边协同场景下的全局参数更新策略，在云端汇总并优化第一缺陷检测模型的参数包括：通过联邦参