轮胎模具表面字符缺陷检测方法、装置、设备及存储介质.pdf

(19)中华人民共和国国家知识产权局(12)发明专利申请(10)申请公布号CN108918536A(43)申请公布日2018.11.30(21)申请号201810769419.1(22)申请日2018.07.13(71)申请人广东工业大学地址510006广东省广州市番禺区大学城外环西路100号(72)发明人蔡念丁鹏黎嘉明方宏文陈新度王晗(74)专利代理机构北京集佳知识产权代理有限公司11227代理人罗满(51)Int.Cl.G01N21/88(2006.01)权利要求书2页说明书12页附图7页(54)发明名称轮胎模具表面字符缺陷检测方法、装置、设备及存储介质(57)摘要本申请公开了一种轮胎模具表面字符缺陷检测方法、装置、设备及存储介质，包括：分别对待测轮胎模具图片上的模具字符区域和CAD图上的CAD字符区域进行检测与识别；将识别出的模具字符区域中的模具字符去匹配识别出的CAD字符区域中的CAD字符，根据匹配结果将待测轮胎模具图片定位到CAD图的相应位置上；通过定位结果判断出模具字符与对应的CAD字符是否存在漏印、多印或错印；通过改进的Siamese相似度判别网络检测出模具字符中每个单字符与对应的CAD字符中每个单字符是否存在字体缺陷。这样定位精准，通过深度学习可以实现不同模态图片之间的缺陷判别，对大量数据和复杂背景噪声干扰的鲁棒性更高，准确率高，实时性能好。CN108918536ACN108918536A权利要求书1/2页1.一种轮胎模具表面字符缺陷检测方法，其特征在于，包括：分别对待测轮胎模具图片上的模具字符区域和CAD图上的CAD字符区域进行检测与识别；将识别出的所述模具字符区域中的模具字符去匹配识别出的所述CAD字符区域中的CAD字符，根据匹配结果将所述待测轮胎模具图片定位到所述CAD图的相应位置上；通过定位结果判断出所述模具字符与对应的所述CAD字符是否存在漏印、多印或错印；通过改进的Siamese相似度判别网络检测出所述模具字符中每个单字符与对应的所述CAD字符中每个单字符是否存在字体缺陷。2.根据权利要求1所述的轮胎模具表面字符缺陷检测方法，其特征在于，改进的Siamese相似度判别网络中卷积层采用并行的多尺寸卷积结构，最后的全连接层输出一个用来表示所述模具字符和所述CAD字符之间相似度的神经元。3.根据权利要求2所述的轮胎模具表面字符缺陷检测方法，其特征在于，改进的Siamese相似度判别网络包括三个卷积层，每个卷积层由两个并联卷积核层组成；其中，第一个并联卷积核层由多个相同大小卷积核的卷积并联组成，第二个并联卷积核层由多个不同大小卷积核的卷积组成，且依次连接在第一个并联卷积核层的后面；最后把每个卷积层里得到的所有特征图融合起来，作为下一个卷积层或池化层的输入。4.根据权利要求1所述的轮胎模具表面字符缺陷检测方法，其特征在于，分别对待测轮胎模具图片上的模具字符区域和CAD图上的CAD字符区域进行检测与识别，具体包括：采用改进的SSD检测网络对待测轮胎模具图片上的模具字符区域进行检测；对CAD图进行二值化处理后采用闭运算和连通域方法分割提取出所述CAD图上的CAD字符区域；采用卷积神经网络结合双向长短时记忆网络分别识别出所述模具字符区域中的字符和所述CAD字符区域中的字符。5.根据权利要求4所述的轮胎模具表面字符缺陷检测方法，其特征在于，在采用改进的SSD检测网络对待测轮胎模具图片上的模具字符区域进行检测之前，还包括：将采集的轮胎模具图片建立成轮胎模具图片数据集样本；将建立的所述轮胎模具图片数据集样本进行模具字符区域位置的标注，获取所述模具字符区域中模具字符的位置信息，作为训练数据；采取数据增广策略对所述样本进行物理变换，扩充所述训练数据；将扩充后的所述训练数据进行标签后输入至改进的SSD检测网络进行训练。6.根据权利要求5所述的轮胎模具表面字符缺陷检测方法，其特征在于，采用卷积神经网络结合双向长短时记忆网络分别识别出所述模具字符区域中的字符和所述CAD字符区域中的字符，具体包括：采用卷积神经网络分别提取改进的SSD检测网络检测到的模具字符区域样本和CAD字符区域样本的特征向量；将所述模具字符区域样本的特征向量和所述CAD字符区域样本的特征向量分别输入至双向至长短时记忆网络进行训练；通过训练好的所述双向至长短时记忆网络分别识别出所述模具字符区域中的模具字符和所述CAD字符区域中的CAD字符；2CN108918536A权利要求书2/2页通过学习到的文字时序性对外形相近的字符进行区分。7.根据权利要求6所述的轮胎模具表面字符缺陷检测方法，其特征在于，在将所述待测轮胎模具图片定位到所述CAD图的相应位置上之后，还包括：确定相机拍摄得到的相邻待测轮胎模具图片之间的平移系数；根据确定的所述平移系数，对定位结果进行校验。8.一