基于多模态的电子元器件智能识别方法.pdf

(19)国家知识产权局(12)发明专利申请(10)申请公布号CN116012825A(43)申请公布日2023.04.25(21)申请号202310041442.XG06N3/08(2023.01)(22)申请日2023.01.13(71)申请人上海赫立智能机器有限公司地址201600上海市松江区八秀路666号(72)发明人程克林赵尚义纪明(74)专利代理机构上海骁象知识产权代理有限公司31315专利代理师赵峰(51)Int.Cl.G06V20/60(2022.01)G06V20/70(2022.01)G06V10/141(2022.01)G06V10/82(2022.01)G06V10/80(2022.01)G06N3/0464(2023.01)权利要求书1页说明书4页(54)发明名称基于多模态的电子元器件智能识别方法(57)摘要一种基于多模态的电子元器件智能识别方法，涉及电路板检测技术领域，该方法先拍摄目标电路板在直射光源、侧光源两种模态下的图像，并在图像中对需要识别的目标器件进行标注，并将标注数据分为训练集、验证集、测试集，再从两种模态的图像中随机裁剪出多张样本图像，以Efficientlite轻量级模型为Backbone，自适应特征融合结构为Head构建一个YOLOv5网络，以裁剪的样本图像作为训练数据，对YOLOv5网络进行训练，并用验证集的标注数据进行验证，用测试集的标注数据进行测试，最终得到基于YOLOv5网络的电子元器件识别模型；再用得到的模型对后续电路板上的电子元器件进行识别。CN116012825ACN116012825A权利要求书1/1页1.一种基于多模态的电子元器件智能识别方法，其特征在于，具体步骤如下：1)拍摄目标电路板的直射光源模态图像及侧光源模态图像；直射光源模态图是指目标电路板在顶部光源直射下的俯视图，侧光源模态图是指目标电路板在侧部光源照射下的俯视图；2)对目标电路板的直射光源模态图像及侧光源模态图像进行标注，标注出需要识别的目标器件在图像中的位置及料类名称；3)将步骤2)标注的数据按照预先设定的比例分为训练集、验证集、测试集，共三个数据集；4)对目标电路板的直射光源模态图像及侧光源模态图像，从每个图像中随机裁剪出N张大小一致的样本图像，并使每个样本图像中包含至少一个已标注的目标器件；5)以Efficientlite轻量级模型为Backbone，自适应特征融合结构为Head构建一个YOLOv5网络；其中的自适应特征融合结构的模型公式为：式中，是YOLOv5网络的第2层特征图中坐标位置为(i，j)的点的特征向量，是将YOLOv5网络的第n层特征图缩放至第2层特征图的规定尺寸后，图中坐标位置为(i，j)的点的特征向量；式中，是YOLOv5网络的第1层特征图的权重，是YOLOv5网络的第2层特征图的权重，是YOLOv5网络的第3层特征图的权重，通过Softmax回归算法计算获得，的值通过反向传播网络学习获得；6)将步骤4)所得的所有样本图像作为训练数据，对步骤5)构建的YOLOv5网络进行训练，并用验证集的标注数据进行验证，用测试集的标注数据进行测试，最终得到基于YOLOv5网络的电子元器件识别模型；7)用步骤6)得到的基于YOLOv5网络的电子元器件识别模型，对后续电路板上的电子元器件进行识别。2CN116012825A说明书1/4页基于多模态的电子元器件智能识别方法技术领域[0001]本发明涉及电路板检测技术，特别是涉及一种基于多模态的电子元器件智能识别方法的技术。背景技术[0002]电子设备制造过程中，常使用基于智能视觉技术对PCB(印刷电路板)上的电子元器件进行识别，以实现自动化生产。目前对电子元器件的识别都采用基于机器学习的传统图像识别算法和基于深度学习的智能图像算法。[0003]基于机器学习的传统图像识别算法通常是先对电路板表面原始图像中每个元器件图像进行图像分割得到各个元器件图像，再基于分割后的图像进行特征抽取和选择，人工提取特征，然后再根据提取的特征对不同电子元器件进行识别。该算法依赖于手动提取特征，过程繁琐，准确率较差，泛化能力(模型预测新数据的准确率)较差。[0004]基于深度学习的智能图像算法通常是使用现有的经典目标检测网络为主干，采用迁移学习或从头训练的方式对自定义数据集进行训练，然后使用训练得到的模型对图像中的电子元器件进行自动识别。该方法的缺点在于，经典目标检测网络模型往往会忽略实际应用平台有限的计算资源，以及忽略不同尺度下特征图的不一致信息，从而会影响特征融合的效果。发明内容[0005]针对上述现有技术中存在的缺陷，本发明所要解决的技术问题是提供一种能自动提取特征，且特征融合效果好，识别准确率高的基于多模态的电子元器件智能识别方法。[0006]为了解决上述技术问题，本发