铭牌的类型识别方法、装置、存储介质及设备.pdf

(19)中华人民共和国国家知识产权局(12)发明专利申请(10)申请公布号CN114267038A(43)申请公布日2022.04.01(21)申请号202210201093.9G06V10/82(2022.01)(22)申请日2022.03.03G06K9/62(2022.01)G06N3/04(2006.01)(71)申请人南京甄视智能科技有限公司G06N3/08(2006.01)地址210000江苏省南京市江宁区高新园龙眠大道568号(72)发明人杨帆王瀚洋胡建国白立群陈凯琪(74)专利代理机构北京德崇智捷知识产权代理有限公司11467代理人季承(51)Int.Cl.G06V20/62(2022.01)G06V10/74(2022.01)G06V10/764(2022.01)G06V10/774(2022.01)权利要求书2页说明书9页附图4页(54)发明名称铭牌的类型识别方法、装置、存储介质及设备(57)摘要本申请公开了一种铭牌的类型识别方法、装置、存储介质及设备，属于图像处理技术领域。所述方法包括：从待识别的铭牌图像中截取预定区域的图像，得到第一截图；获取预先训练好的铭牌识别模型，所述铭牌识别模型是基于孪生神经网络创建的；利用所述铭牌识别模型对所述第一截图和模板库进行识别，并输出与所述第一截图相匹配的目标模板，所述模板库中包括多个模板，且每个模板是从不同类型的铭牌图像中的所述预定区域中截取到的；根据所述目标模板确定所述铭牌图像的类型。本申请既能够在不修改算法的前提下扩展识别任务，也可以避免截取同时包含文字和图标的区域，从而减少干扰，提高了铭牌的类型识别的可靠性。CN114267038ACN114267038A权利要求书1/2页1.一种铭牌的类型识别方法，其特征在于，所述方法包括：从待识别的铭牌图像中截取预定区域的图像，得到第一截图；获取预先训练好的铭牌识别模型，所述铭牌识别模型是基于孪生神经网络创建的；利用所述铭牌识别模型对所述第一截图和模板库进行识别，并输出与所述第一截图相匹配的目标模板，所述模板库中包括多个模板，且每个模板是从不同类型的铭牌图像中的所述预定区域中截取到的；根据所述目标模板确定所述铭牌图像的类型。2.根据权利要求1所述的铭牌的类型识别方法，其特征在于，所述铭牌识别模型中包括超参数margin，所述超参数margin的更新公式为：margin=mar‑d2+P+Q，其中，d=|P‑Q|，mar是初始margin值，P是正样本对的欧式距离和的平均值，Q是负样本对的欧氏距离和的平均值。3.根据权利要求1所述的铭牌的类型识别方法，其特征在于，所述利用所述铭牌识别模型对所述第一截图和模板库进行识别，并输出与所述第一截图相匹配的目标模板，包括：利用所述铭牌识别模型计算所述第一截图与所述模板库中每个模板的相似度；若所述铭牌识别模型输出的相似度的最大值超过第一阈值，则将所述最大值对应的模板确定为与所述第一截图相匹配的目标模板。4.根据权利要求1所述的铭牌的类型识别方法，其特征在于，所述方法还包括：利用摄像头对产品中的铭牌进行拍摄，得到照片；获取预先训练好的铭牌定位模型；利用所述铭牌定位模型对所述照片进行定位，并输出所述铭牌图像。5.根据权利要求4所述的铭牌的类型识别方法，其特征在于，所述方法还包括：对来自训练集中的第一训练图像进行调整和随机裁剪，得到第二训练图像，所述第二训练图像中包含按照逆时针顺序从所述第一训练图像的左上角开始标定的铭牌的四个顶点；根据所述第二训练图像的尺寸对所述顶点坐标进行归一化，得到归一化坐标；将所述第二训练图像和所述归一化坐标作为一组第一训练样本，以训练所述铭牌定位模型。6.根据权利要求5所述的铭牌的类型识别方法，其特征在于，所述利用所述铭牌定位模型对所述照片进行定位，得到所述铭牌图像，包括：从所述照片中截取铭牌所在区域的图像，得到第二截图；利用所述铭牌定位模型对所述第二截图进行定位，并输出归一化后的第一坐标；将所述第一坐标相对于所述第二截图的尺寸进行还原，得到第二坐标；将所述第二坐标相对于所述照片的尺寸进行还原，得到第三坐标；根据所述第三坐标从所述照片中截取所述铭牌图像。7.根据权利要求6所述的铭牌的类型识别方法，其特征在于，在所述铭牌定位模型输出所述铭牌图像之后，所述方法还包括：根据所述第三坐标和所述铭牌的宽高信息，计算透视变换后的第四坐标；根据所述第三坐标和所述第四坐标计算旋转矩阵；根据所述旋转矩阵对所述铭牌图像进行转换；2CN114267038A权利要求书2/2页将转换后的铭牌图像作为所述待识别的铭牌图像。8.根据权利要求1至7中任一项所述的铭牌的类型识别方法，其特征在于，所述方法还包括：从第三训练图像中随机截取图像，得到第三截图；在所述第三训练图像中对相同的截图坐标点进行随机波动和