交通文本识别方法、装置、设备及存储介质.pdf

(19)国家知识产权局(12)发明专利申请(10)申请公布号CN114998859A(43)申请公布日2022.09.02(21)申请号202210422626.6G06V30/18(2022.01)(22)申请日2022.04.21G06V30/19(2022.01)G06K9/62(2022.01)(71)申请人湖南师范大学G06N3/04(2006.01)地址410006湖南省长沙市岳麓区麓山路G06N3/08(2006.01)36号(72)发明人王润民刘明昊刘莹莹朱桂林张翔宇朱彦斌陈华朱祯琳徐尉翔丁亚军钱盛友代建华(74)专利代理机构北京集佳知识产权代理有限公司11227专利代理师张艺(51)Int.Cl.G06V20/58(2022.01)G06V20/62(2022.01)G06V30/146(2022.01)权利要求书2页说明书12页附图3页(54)发明名称交通文本识别方法、装置、设备及存储介质(57)摘要本申请涉及交通目标检测与识别的技术领域，本申请公开了一种交通文本识别方法、装置、设备以及计算机可读存储介质，该方法包括利用由FPN网络和ResNet50网络共同构建的主干网络模型对待识别图像进行特征运算获得特征图，对待识别图像进行SIFT特征算法运算，获得特征描述向量；对特征图进行交通文本所在区域的检测识别，获得对交通文本所在位置区域进行标记的精细特征图；将精细特征图和特征描述向量进行特征融合，获得融合特征；对融合特征进行交通文本所在区域检测识别，确定待识别图像中交通文本所在位置区域，以便对位置区域内的交通文本进行语义识别。本申请获取交通文本提供可靠的数据信息，有助于提升汽车的行驶安全。CN114998859ACN114998859A权利要求书1/2页1.一种交通文本识别方法，其特征在于，包括：利用主干网络模型对待识别图像进行特征运算获得特征图；其中，所述主干网络模型为预先经过学习训练并由FPN网络和ResNet50网络共同构建的模型；对所述待识别图像进行SIFT特征算法运算，获得特征描述向量；对所述特征图进行交通文本所在区域的检测识别，获得对交通文本所在位置区域进行标记的精细特征图；将所述精细特征图和所述特征描述向量进行特征融合，获得融合特征；对所述融合特征进行交通文本所在区域检测识别，确定所述待识别图像中交通文本所在位置区域，以便对所述位置区域内的交通文本进行语义识别。2.如权利要求1所述的交通文本识别方法，其特征在于，对所述特征图进行交通文本所在区域的检测识别，获得对交通文本所在位置区域进行标记的精细特征图，包括：对所述特征图进行非文本特征剔除获得文本特征；对所述特征图进行文本框粗检测，获得所述特征图中文本所在区域的粗检测框；将所述粗检测框和所述特征图共同进行可形变卷积运算，获得检测框；将所述文本特征和所述检测框共同进行精细检测运算，获得精细特征图。3.如权利要求2所述的交通文本识别方法，其特征在于，对所述特征图进行非文本特征剔除获得文本特征，包括：将所述特征图通过文本分类头中的第一1×1卷积层、尺度归一层、第一激活层、第二1×1卷积层、第二激活层依次运算，生成文本分类得分图；将所述文本分类得分图中分数小于预设阈值的特征作为非文本特征剔除，获得分数不小于所述预设阈值的特征作为文本特征。4.如权利要求2所述的交通文本识别方法，其特征在于，对所述特征图进行文本框粗检测，获得所述特征图中文本所在区域的粗检测框，包括：将所述特征图通过粗检测模型中的3×3卷积层、尺度归一层、激活层以及1×1卷积层依次进行粗检测运算，获得粗检测框；将所述文本特征和所述检测框共同进行精细检测运算，获得精细特征图，包括：将所述文本特征和所述检测框共同通过精细检测模型中的3×3卷积层、尺度归一层、激活层以及1×1卷积层依次进行精细检测运算，获得精细特征图。5.如权利要求1所述的交通文本识别方法，其特征在于，对所述融合特征进行交通文本所在区域检测识别，确定所述待识别图像中交通文本所在位置区域，包括：对所述融合特征进行交通文本所在区域检测识别，获得多个文本检测框；将任意两个重叠度大于预设重叠度的文本检测框中置信度分数小的文本检测框剔除；其中，所述置信度分数为所述文件检测框中的文本是交通文本的概率；以剔除后的各个所述文本检测框所在区域作为所述待识别图像中交通文本所在位置区域。6.如权利要求1所述的交通文本识别方法，其特征在于，所述主干网络模型的构建过程，包括：基于FPN网络和ResNet50网络构建卷积神经网络；利用所述卷积神经网络对样本图像进行特征提取，获得样本特征；2CN114998859A权利要求书2/2页将所述样本特征分别通过1×1卷积层和RBOX包围框，获得所述样本图像的预测文本位置和预测文本得分；利用骰损失函数将所述预测文本位置和所