一种复杂场景下基于深度学习的实时车牌识别方法.pdf

(19)中华人民共和国国家知识产权局(12)发明专利申请(10)申请公布号CN110619327A(43)申请公布日2019.12.27(21)申请号201810633017.9(22)申请日2018.06.20(71)申请人湖南省瞬渺通信技术有限公司地址410000湖南省长沙市岳麓区绿地中央广场6栋1721室(72)发明人余莉韩方剑罗迤文(51)Int.Cl.G06K9/32(2006.01)G06K9/34(2006.01)G06N3/04(2006.01)权利要求书1页说明书5页附图3页(54)发明名称升，整个系统可以达到实时车牌识别效果，具有一种复杂场景下基于深度学习的实时车牌实用价值。识别方法(57)摘要本发明提供一种基于深度学习技术的自然场景下车牌自动化识别的方法。基本原理是，首先以轻量级的MobileNet神经网络作为特征提取网络，加入深度学习物体检测算法SSD(SingleShotMulti-boxesDetector)中，并在场景车牌图像上训练；然后利用SSD-MobileNet检测车牌区域并对车牌种类进行分类；其次，针对检测到的车牌区域，利用多阈值二值化操作，通过寻找字符轮廓确定边界点集，对边界点集进行线拟合确定车牌角点，再通过透视变换操作一步校正车牌；最后将车牌送入具有七输出的卷积神经网络，得到全部车牌字符输出。与现有的车牌识别算法相比，本发明基于深度学习技术的车牌检测和定位校正算法更加快速准确，并对复杂自然场景下的车牌检测具有鲁棒性，系统省去了字符分割的操作，减少特征传递损失，端对端的识别网CN110619327A络在保证了准确率的情况下，识别速度大幅度提CN110619327A权利要求书1/1页1.一种复杂场景下基于深度学习的实时车牌识别方法，其特征在于，包括下述步骤：第一步：复杂场景图像中车牌区域检测与分类：采用轻量型的神经网络MobileNet作为特征提取网络加入深度学习物体检测算法SSD(SingleShotMulti-boxesDetector)中实现车牌检测与分类：(一)在大数据库上进行定位分类预训练以确定网络初始参数；(二)在场景车牌数据库上迁移训练，微调网络参数，使其在目标数据集上表现最优，完成SSD-MobileNet网络参数的确定；(三)训练好的SSD-MobileNet是一个端对端的车牌检测分类器，将待检测的场景车牌图像作为网络输入，网络输出得到车牌区域矩形框坐标及对应车牌的类别；第二步：车牌的精准定位和校正：(一)对车牌区域图像进行灰度化，保证灰度化后的图像的字符灰度值大于背景灰度值，然后对灰度化后的车牌区域图像采用多阈值的二值化，基础二值化阈值为自适应的邻域均值，多级化的阈值通过在基础阈值上减去常数C确定，不同的常数C值对应不同级；(二)对于每级二值化区域图像，寻找符合字符形状先验条件的连通域外接矩形框，将这些矩形框的对应角点加入不同的车牌边界点集；(三)对每个边界点集都进行线拟合，确定上下左右边界线，边界线交点即为车牌角点，最后通过透视变换操作校正车牌；第三步：车牌端对端字符识别：采用多输出的卷积神经网络实现车牌中多个字符的一步识别：(一)将多输出的卷积神经网络在纯车牌数据集中进行训练，当网络损失函数收敛后，完成网络参数的调优；(二)训练好的多输出卷积神经网络为一个端对端的车牌字符识别器，将精定位校正后的车牌作为网络输入，得到最终识别结果。2CN110619327A说明书1/5页一种复杂场景下基于深度学习的实时车牌识别方法技术领域[0001]本发明属于图像处理技术和文本识别领域，涉及一种利用深度学习技术实现的复杂场景下车牌自动化识别方法。背景技术[0002]我国机动车保有量的逐年上升，对交通车辆管理工作提出了更高的要求，智能化交通与监控系统在此背景下应运而生。自动化车牌识别技术(AutomaticVehicleLicensePlateRecognition，简称ALPR)在智能化交通与监控系统中起到非常重要的作用，该技术具有广泛的应用场景，如停车场出入控制、道路交通监控、未来无人交通等。ALPR的主要目的是从场景中定位车牌区域，提取车牌字符信息，最终识别车牌字符，经典的ALPR系统流程包括：车牌区域检测、车牌定位、字符分割以及字符识别。[0003]车牌区域检测的主要目的是在整个图像中确定包含车牌的区域，而在大多数情况下，由于拍摄角度问题，场景中的车牌存在角度偏斜，因此车牌定位的目的是在包含车牌的区域内进一步精确定位并校正车牌偏斜等问题，进而得到标准车牌图像。车牌区域检测和车牌精准定位的传统方法是主要通过人工提取车牌的信息特征，如轮廓、颜色、边缘密度、形状纹理等特征，实现车牌区域的提取，但是由于人工提取特征的信息表征能力有限，一方面对于处于不同环境和场景中的车牌，周围复杂的环境