多路网络视频流车牌识别方法及系统.pdf

(19)中华人民共和国国家知识产权局(12)发明专利申请(10)申请公布号CN108509912A(43)申请公布日2018.09.07(21)申请号201810286399.2(22)申请日2018.04.03(71)申请人深圳市智绘科技有限公司地址518000广东省深圳市南山区南头街道深南大道南山数字文化产业基地西塔509(72)发明人熊伟成张亮李学万(51)Int.Cl.G06K9/00(2006.01)G06K9/34(2006.01)权利要求书3页说明书7页附图3页(54)发明名称多路网络视频流车牌识别方法及系统(57)摘要本发明实施例公开了一种多路网络视频流车牌识别方法及系统，所述车牌识别方法应用于监控系统中且包括：采集解码步骤：采集多路IP摄像头分发的网络视频流，实时进行解码；并发处理步骤：采用多线程并发处理模式对图像帧数据依次进行车牌检测、字符分割及字符识别；显示分析步骤：对车牌号数据及图像帧数据进行实时渲染显示，同时接收用户的交互信息以控制渲染显示，以及对车牌号数据进行显示、分发、统计，并将统计结果保存为日志信息。本发明实施例通过检测视频中存在的车牌区域的车牌图像，并对车牌图像利用深度学习技术进行识别，获取视频中的车牌号数据，解决了传统方法容错差、速度慢的问题，进而能够适用于环境复杂多变的视频流信息。CN108509912ACN108509912A权利要求书1/3页1.一种多路网络视频流车牌识别方法，应用于监控系统中，其特征在于，包括：采集解码步骤：采集多路IP摄像头分发的网络视频流，实时对网络视频流进行解码，得到对应的多路网络视频的图像帧数据；并发处理步骤：采用多线程并发处理模式对多路网络视频的图像帧数据依次进行车牌检测、字符分割及字符识别，得到车牌号数据；显示分析步骤：对车牌号数据及多路网络视频的图像帧数据进行实时渲染显示，同时接收用户的交互信息以控制所述数据的渲染显示，以及对车牌号数据进行显示、分发、统计，并根据用户设定的时间将统计结果保存为日志信息。2.如权利要求1所述的多路网络视频流车牌识别方法，其特征在于，所述并发处理步骤包括：图像处理子步骤：维护一个图像待处理队列，将图像帧数据加入所述图像待处理队列，对图像待处理队列的队首中的图像帧数据进行检测识别并删除所述队首的图像帧数据。3.如权利要求1所述的多路网络视频流车牌识别方法，其特征在于，所述并发处理步骤包括：车牌检测子步骤：采用预设的目标检测算法提取图像特征以及预测图像位置和类别概率值，检测出图像帧数据中的车牌图像；其中，所述预设的目标检测算法为YOLO-9000的目标检测算法，且采用如下算法进行维度聚类，选取最佳尺寸的候选框：n设通过卷积获取的候选框集合为μ1,μ2,μ3…μn∈R；①从候选框集合Rn中随机选择一个候选框作为第一个聚类中心；②对于候选框集合Rn，计算Rn中每一个候选框与最近聚类中心的距离D(x)；nnnn设μi∈R为候选框集合R中任意一个候选框，μk∈R为候选框集合R中的一个聚类中心，则μi与μk之间的距离D(x)ik为：D(x)ik＝1-f[IOU(μi,μk)]；其中f(·)为Sigmoid激活函数，其公式为：IOU(·)为检测评价函数；设候选框μk的范围为(xi，yi，wi，hi)，候选框μk的范围为(xk，yk，wk，hk)，候选框μi与候选框μk的IOU指为两矩形框的交集与并集之间的除值，即：③选择一个新的候选框作为新的聚类中心，选择的原则是：D(x)较大的候选框，被选取作为聚类中心的概率较大；④重复②③直到m个聚类中心被选出来；⑤利用这m个初始的聚类中心来运行标准的k-means聚类算法。4.如权利要求3所述的多路网络视频流车牌识别方法，其特征在于，所述车牌检测子步骤之后还包括：字符分割子步骤：将车牌图像作为字符分割的图像输入，采用预设的目标检测算法分割出车牌图像中的字符；2CN108509912A权利要求书2/3页字符识别子步骤：采用卷积神经网络对分割得到的每一个字符进行识别，得到车牌号数据。5.如权利要求1所述的多路网络视频流车牌识别方法，其特征在于，所述显示分析步骤包括：子步骤1：将多路网络视频的图像帧数据以及车牌号数据组成智能解议序列，所述序列包括对应的实时视频流编号以及时间信息；子步骤2：利用实时视频流编号和时间信息将车牌号数据与对应视频流编号中的图像帧数据结合；同时对车牌号数据按照用户指定的IP地址进行分发，并将所述数据进行相应统计，保存于日志信息中；子步骤3：利用图像帧数据以及对应的车牌号数据进行硬件实时渲染，并将渲染结果发送至对应的客户端中显示。6.一种多路网络视频流车牌识别系统，其特征在于，包括：采集解码模块：采集多路IP摄像头分发的网络视频流，实时对网络视频流进行解码，并将解码得到的多路网络视频的