基于全局和局部特征融合的大角度车型识别方法和系统.pdf

(19)中华人民共和国国家知识产权局(12)发明专利申请(10)申请公布号CN108681707A(43)申请公布日2018.10.19(21)申请号201810463134.5G06N3/08(2006.01)(22)申请日2018.05.15(71)申请人桂林电子科技大学地址541004广西壮族自治区桂林市七星区金鸡路1号(72)发明人蒋行国万今朝李海鸥李琦张法碧肖功利陈永和傅涛孙堂友蔡晓东苏欣欣(74)专利代理机构桂林市持衡专利商标事务所有限公司45107代理人陈跃琳(51)Int.Cl.G06K9/00(2006.01)G06K9/62(2006.01)G06N3/04(2006.01)权利要求书2页说明书6页附图2页(54)发明名称基于全局和局部特征融合的大角度车型识别方法和系统(57)摘要本发明公开一种基于全局和局部特征融合的大角度车型识别方法和系统，当车辆经过车型识别采集区时截取出包含车辆的图像，首先对截取的包含车辆的图像进行裁剪，得到去除复杂背景的车辆图片，将车辆图片分割为车脸图像分块、车尾图像分块和车轮图像分块。再将车辆图片、车脸图像分块、车尾图像分块和车轮图像分块导入到深层多分支卷积神经网络中对车辆的全局和局部特征进行特征训练，并将车辆图片特征和各个分块特征进行特征融合。后通过分类器对融合后的特征进行分类识别。本发明将大角度车辆的全局和局部特征进行融合，能够明显的提高大角度车型识别的准确率。CN108681707ACN108681707A权利要求书1/2页1.基于全局和局部特征融合的大角度车型识别方法，其特征是，包括步骤如下：步骤1、当车辆经过车型识别采集区时，截取出包含车辆的图像；步骤2、对截取的包含车辆的图像进行预处理：步骤2.1、先将获取的图像使用标注框对图像进行裁剪，得到去除复杂背景的车辆图片；步骤2.2、对车辆图片使用目标检测SSD算法分别检测车辆的车脸部分、车尾部分和车轮部分，得到车脸图像分块、车尾图像分块和车轮图像分块；步骤2.3、对车辆图片、车脸图像分块、车尾图像分块和车轮图像分块进行旋转和镜像，并将增强后的车辆图片、车脸图像分块、车尾图像分块和车轮图像分块裁剪成统一大小，构建车辆数据库；步骤3、将所构建的车辆数据库导入到所述的深层多分支卷积神经网络中对车辆的全局和局部特征进行特征训练；步骤4、将特征训练所得到的车辆图片、车脸图像分块、车尾图像分块和车轮图像分块的特征进行加权特征融合；步骤5、通过分类器对融合后的特征进行分类识别。2.根据权利要求1所述的基于全局和局部特征融合的大角度车型识别方法，其特征是，步骤2.2中，目标检测SSD算法的具体步骤如下：步骤2.2.1、输入去除复杂背景的车辆图片，进行前向传播得到车辆的基本特征；步骤2.2.2、在特征的各个位置设置不同大小、不同长宽比的候选区域；步骤2.2.3、将候选区域和真实框进行匹配；步骤2.2.4、通过预测器将每个候选区域的位置偏移量进行预测和类别置信度输出；步骤2.2.5、通过多任务的损失函数经过反向转播计算并调整每个层的权重。3.根据权利要求2所述的基于全局和局部特征融合的大角度车型识别方法，其特征是，步骤2.2.5中，多任务的损失函数为位置损失函数和置信度损失函数之和。4.根据权利要求1所述的基于全局和局部特征融合的大角度车型识别方法，其特征是，步骤4中，在对特征进行加权特征融合时，车辆图像分块权重系数w1为：w1＝k1/(k1+k2+k3+k4)；车脸图像分块权重系数w2为：w2＝k2/(k1+k2+k3+k4)；车尾图像分块权重系数w3为：w3＝k3/(k1+k2+k3+k4)；车轮图像分块权重系数w4为：w4＝k4/(k1+k2+k3+k4)；其中，k1是车辆图像分块的权重，k2是车脸图像分块的权重，k3是车尾图像分块的权重，k4是车轮图像分块的权重。5.基于全局和局部特征融合的大角度车型识别系统，其特征是，由依次连接的视频图像采集模块、车辆图片检测模块、车辆图片分割模块、车辆全局和局部图像特征提取模块、车辆全局和局部图像特征融合模块、以及大角度车辆型号识别模块组成；2CN108681707A权利要求书2/2页视频图像采集模块：用于获取车辆监控视频；车辆图片检测模块：用于对获取的道路交通十字路口监控视频中的车辆进行检测，并且截取出视频监控中的车辆；车辆图片分割模块：用于检测车辆的车脸、车尾、车轮部分，将车辆的车脸、车尾、车轮部分进行分割；车辆全局和局部图像特征提取模块：通过深度多分支卷积神经网络分别对整车图像，车脸图像分块、车尾图像分块、车轮图像分块进行特征提取；车辆全局和局部图像特征融合模块：然后将各个分支提取的特征进行特征融合，从而能够获取车辆更丰富的特征；大角度车辆型号识别模块：用于对融合后的特征对大角度车辆型号进行识