一种基于动态时序卷积神经网络的车牌识别方法.pdf

(19)中华人民共和国国家知识产权局(12)发明专利申请(10)申请公布号CN108388896A(43)申请公布日2018.08.10(21)申请号201810132849.2(22)申请日2018.02.09(71)申请人杭州雄迈集成电路技术有限公司地址311422浙江省杭州市富阳区银湖街道富闲路9号银湖创新中心9号楼12层1210室(72)发明人庞星(74)专利代理机构浙江纳祺律师事务所33257代理人郑满玉(51)Int.Cl.G06K9/32(2006.01)G06K9/62(2006.01)G06N3/04(2006.01)G06N3/08(2006.01)权利要求书2页说明书6页附图3页(54)发明名称一种基于动态时序卷积神经网络的车牌识别方法(57)摘要本发明提出一种基于动态时序卷积神经网络的车牌识别方法，读取原始车牌图像；进行车牌角度矫正，获得待确定识别的车牌图像；输入到预先设计和训练的卷积神经网络，获得具备车牌所有特征的特征图像和时序信息；进行字符识别，基于上一层的时序信息，将特征图像输入到长短期记忆神经网络层的卷积神经网络中，得到分类结果，利用CTC算法解码得到最后的车牌字符结果。本发明通过使用卷积神经网络直接从原图识别视觉模式，自我学习与纠正，一次训练，多次使用，且单次识别时间在毫秒级别，能够应用在需要实时识别车牌的场景。动态时序的长短期记忆神经网络层与CTC算法解码相结合，有效规避漏检，多检等识别错误问题，提高算法鲁棒性。CN108388896ACN108388896A权利要求书1/2页1.一种基于动态时序卷积神经网络的车牌识别方法，其特征在于，包括以下步骤：读取原始车牌图像；进行图像预处理，车牌角度矫正，获得待确定识别的车牌图像；将上述车牌图像输入到预先设计和训练好的卷积神经网络中，获得具备车牌所有特征的特征图像和时序信息；进行字符识别，将特征图像和时序信息输入到基于动态时序的长短期记忆神经网络层中，得到分类结果，利用CTC算法解码得到最后的车牌字符结果。2.如权利要求1所述的基于动态时序卷积神经网络的车牌识别方法，其特征在于，所述车牌角度矫正方法包括以下步骤：步骤1)：通过canny算子提取车牌图像的边缘，分别统计水平方向上和垂直方向上边缘点的个数，得到基于水平和垂直方向上的边缘点投影直方图；步骤2)：根据边缘点直方图，确定车牌图像中字符起始和结束位置，起始与结束位置的差值与车牌左右边界点的差值求余弦，获得车牌水平方向上的倾斜角度，从而在水平方向上矫正车牌，再做垂直方向上的矫正，获得矫正完的车牌。3.如权利要求1所述的基于动态时序卷积神经网络的车牌识别方法，其特征在于，所述预先设计和训练好的卷积神经网络包括以下步骤：步骤1)：构建基于动态时序的卷积神经网络，卷积神经网络设置为8层结构，包括1个输入层、4个用于特征提取的卷积层、2个用于特征优化选取的池化层，1个长短期记忆神经网络层；步骤2)：初始化后，采用随机梯度下降法对构建的卷积神经网络进行迭代训练，每迭代一次计算一次损失函数的值，以获得卷积神经网络结构中各权重值W和偏置值b的数值，迭代多次后得到本次训练的卷积神经网络；所述卷积神经网络的训练方法包括以下步骤：收集样本图像集，样本图像中包括不同长宽比的图像；将样本图像集中的图像进行矫正预处理，矫正车牌到水平位置；将预处理后的样本图像集中的图像补全图像宽度至144个像素，图像中的原始宽度范围内的像素灰度值不变，增加部分的图像灰度值设定为0；从补全后的样本图像集中抽取100张图像，组成小样本集，输入到初始卷积神经网络中，初始各权重值W和偏置值b随机设定，进行前向传播，获得该小样本图像集每一张车牌图像对应的最后一层卷积层，该卷积层的特征向量中，实际特征宽度由图像原始宽度决定，实际特征宽度为长短期记忆神经网络层中的动态时序，增加一层与特征图像大小一样的掩码层，实际特征宽度范围内的值为1，由补全部分获得区域掩码层对应的区域上的值为0，掩码层作为标记，实际特征宽度范围内的值带入计算，补全部分获得的特征不带入计算；将处理后的卷积层特征向量输入到长短期记忆神经网络层，得到字符分类结果；计算该小样本图像集每一张车牌图像对应的字符分类结果置信度与标定的字符分类结果置信度之差，计算得到卷积神经网络最后一层长短期记忆神经层的损失函数的值；将初始卷积神经网络最后一层的损失函数的值进行反向传播，更新每一层的权重值W和偏置值b；重复从补全后的样本图像集中抽取另外的100张图像，输入到更新权重值W和偏置值b2CN108388896A权利要求书2/2页后的卷积神经网络中，进行前行传播，获得该样本图像对应的字符分类结果的步骤，直到该小样本图像集与对应的标定字符分类结果具有相同的拟合结果，获得训练后的卷积神经网络。4.如权利要求1所述