一种复杂场景下的设备标签内容识别方法及系统.pdf

(19)国家知识产权局(12)发明专利申请(10)申请公布号CN115861992A(43)申请公布日2023.03.28(21)申请号202211647642.1G06V30/19(2022.01)(22)申请日2022.12.21G06V30/26(2022.01)G06V10/82(2022.01)(71)申请人山东建筑大学地址250000山东省济南市历城区临港开发区凤鸣路1000号(72)发明人聂秀山毕研超吕雪岭刘新锋孟庆刚李道恒谭智方(74)专利代理机构济南圣达知识产权代理有限公司37221专利代理师黄海丽(51)Int.Cl.G06V20/62(2022.01)G06V30/146(2022.01)G06V30/148(2022.01)G06V30/18(2022.01)权利要求书2页说明书7页附图4页(54)发明名称一种复杂场景下的设备标签内容识别方法及系统(57)摘要本发明公开了一种复杂场景下的设备标签内容识别方法及系统；其中，所述方法，包括：获取待识别的设备标签图像，对待识别的设备标签图像进行旋转矫正；对矫正后的图像，进行设备标签区域检测和设备标签分类，对设备标签区域进行裁剪，得到设备标签区域图像；对设备标签区域图像，进行边缘检测和透视变换，对设备标签区域图像进行位置修正；对修正后的设备标签区域图像，进行文字区域检测和文字识别；对文字识别结果进行后处理，输出结构化和非结构化文字识别结果。CN115861992ACN115861992A权利要求书1/2页1.一种复杂场景下的设备标签内容识别方法，其特征是，包括：获取待识别的设备标签图像，对待识别的设备标签图像进行旋转矫正；对矫正后的图像，进行设备标签区域检测和设备标签分类，对设备标签区域进行裁剪，得到设备标签区域图像；对设备标签区域图像，进行边缘检测和透视变换，对设备标签区域图像进行位置修正；对修正后的设备标签区域图像，进行文字区域检测和文字识别；对文字识别结果进行后处理，输出结构化和非结构化文字识别结果。2.如权利要求1所述的一种复杂场景下的设备标签内容识别方法，其特征是，获取待识别的设备标签图像，具体是指：获取复杂场景下的待识别的设备标签图像；其中，复杂场景是指：包含多种设备标签、所拍摄的设备标签图像倾斜、标签区域外存在干扰文字、标签区域中不同信息间隔小于设定距离。3.如权利要求1所述的一种复杂场景下的设备标签内容识别方法，其特征是，所述对待识别的设备标签图像进行旋转矫正，具体是采用霍夫变换算法对待识别的设备标签图像进行处理，得到图像中的直线，根据图像中的直线方向，确定图像的矫正角度，并根据矫正角度对图像进行旋转。4.如权利要求1所述的一种复杂场景下的设备标签内容识别方法，其特征是，对矫正后的图像，进行设备标签区域检测和设备标签分类，具体是：采用训练后的目标检测模型，对矫正后的图像，进行设备标签区域检测和设备标签分类；所述训练后的目标检测模型，其网络结构包括：依次连接的二维卷积层d1、批量归一化层BN、激活函数层、卷积层c1、第一C3模块、卷积层c2、第二C3模块、卷积层c3、第三C3模块、卷积层c4、第四C3模块、SFFP模块、卷积层c5、第一连接器concat、第五C3模块、卷积层c6、第二连接器concat、第六C3模块、卷积层c7、第三连接器concat、第七C3模块、卷积层c8、第四连接器concat、第八C3模块和二维卷积层d2；第二C3模块的输出端还与第二连接器concat的输入端连接；第三C3模块的输出端还与第一连接器concat的输入端连接；第六C3模块的输出端还与二维卷积层d3的输入端连接；第七C3模块的输出端还与二维卷积层d4的输入端连接；其中，二维卷积层d1的输入端用于输入矫正后的图像；二维卷积层d2的输出端、二维卷积层d3的输出端和二维卷积层d4的输出端，作为训练后的目标检测模型的输出端。5.如权利要求4所述的一种复杂场景下的设备标签内容识别方法，其特征是，所述训练后的目标检测模型，其训练过程包括：构建第一训练集，所述第一训练集为已知结构化标签或非结构化标签类别和已知每个标签区域位置的设备标签图像；将第一训练集，输入到目标检测模型中，对模型进行训练，当目标检测模型的损失函数值不再降低时，停止训练，得到训练后的目标检测模型。6.如权利要求1所述的一种复杂场景下的设备标签内容识别方法，其特征是，对设备标签区域图像，进行边缘检测和透视变换，对设备标签区域图像进行位置修正，具体包括：采用霍夫变换，对设备标签区域图像的标签边界进行边界拟合，以获得设备标签区域四个端点的坐标值；基于设备标签区域四个端点的坐标值，采用透视变换的方式，对边界拟合后的设备标2CN115861992A权利要求书2/2页签区域图像进行前后左右的矫正。7.如权利要求1所述的