一种基于卷积神经网络的实时车牌检测方法.pdf

(19)中华人民共和国国家知识产权局(12)发明专利申请(10)申请公布号CN113947766A(43)申请公布日2022.01.18(21)申请号202111567665.7G06T7/70(2017.01)(22)申请日2021.12.21(71)申请人之江实验室地址310023浙江省杭州市余杭区中泰街道之江实验室南湖总部8号楼(72)发明人徐芬曹卫强徐晓刚王军何鹏飞虞舒敏(74)专利代理机构杭州浙科专利事务所(普通合伙)33213代理人孙孟辉杨小凡(51)Int.Cl.G06V20/62(2022.01)G06V10/82(2022.01)G06K9/62(2022.01)G06N3/04(2006.01)权利要求书2页说明书7页附图3页(54)发明名称一种基于卷积神经网络的实时车牌检测方法(57)摘要本发明公开了一种基于卷积神经网络的实时车牌检测方法，包括如下步骤：获取包含车牌的车辆图像，作为训练集，设计keypoint‑Anchor，提取训练集的特征；使用基于深度卷积神经网络的检测模型，作为车牌检测的基线网络架构，并按keypoint‑Anchor方式修改检测模型；使用训练集、目标框坐标及角点坐标对修改后的检测模型进行训练，获得训练好的检测模型；使用训练好的检测模型对待检测的图像进行检测，获得不同角度拍摄图像中车牌的检测结果。本发明实现方法简单，可移植性强，能够实现对摄像头拍摄的公路上、停车场、小区出入口等场所中车牌的精准检测。CN113947766ACN113947766A权利要求书1/2页1.一种基于卷积神经网络的实时车牌检测方法，其特征在于包括如下步骤：S1，获取包含车牌的车辆图像，通过关键点锚框联合锚定keypoint‑Anchor，将锚框与对应的一组关键点共同标注车牌，将标注的车辆图像作为训练集，并提取图像特征；S2，构建车辆检测模型，将基于深度卷积神经网络的检测模型，作为车牌检测的基线网络架构，并根据关键点与锚框联合锚定的方式修改检测模型，包括如下步骤：S21，修改模型输出层的张量，根据输出层特征图上的每个点，生成一组候选框，对应输出层的张量包括候选框信息、关键点信息、置信度；S22，修改模型的损失计算，损失计算包括目标框损失、置信度损失、关键点损失，并通过权重因子计算联合损失；S3，将提取的图像特征输入车辆检测模型进行训练；S4，通过训练好的车辆检测模型，对待检测的车辆图像进行检测，得到车牌检测结果。2.根据权利要求1所述的一种基于卷积神经网络的实时车牌检测方法，其特征在于所述S21中的关键点信息，为关键点个数和关键点的位置；所述S22中的关键点损失，通过预测的关键点位置与输入图像的关键点位置真值计算损失得到。3.根据权利要求2所述的一种基于卷积神经网络的实时车牌检测方法，其特征在于所述关键点损失，采用Wing‑loss计算：其中，是一个常数，用于平滑的连接分段的线性和非线性部分，将非线性部分的范围限制在区间内，用于约束非线性区域的曲率；其中表示神经网络预测的第i个关键点位置，表示第i个输入图像的关键点位置真值。4.根据权利要求2所述的一种基于卷积神经网络的实时车牌检测方法，其特征在于所述关键点的位置，为车牌角点的坐标。5.根据权利要求1所述的一种基于卷积神经网络的实时车牌检测方法，其特征在于所述深度卷积神经网络采用YOLO网络架构，包括输入层、骨干网、输出层，输出层包括一组YOLO层，每个YOLO层设有一组候选框。6.根据权利要求5所述的一种基于卷积神经网络的实时车牌检测方法，其特征在于所述骨干网包括卷积层、残差单元、最大池化和批归一化。7.根据权利要求1所述的一种基于卷积神经网络的实时车牌检测方法，其特征在于所述S1中的锚框，为包含车牌的矩形框，通过矩形框的对角坐标确定位置。8.根据权利要求1所述的一种基于卷积神经网络的实时车牌检测方法，其特征在于所述S21中的候选框信息，为候选框的个数和候选框的位置；所述S22中的目标框损失，通过预2CN113947766A权利要求书2/2页测的候选框位置与输入图像的锚框位置真值计算损失得到。9.根据权利要求8所述的一种基于卷积神经网络的实时车牌检测方法，其特征在于所述候选框的位置，是候选框中心点坐标及候选框的宽、高。10.根据权利要求1所述的一种基于卷积神经网络的实时车牌检测方法，其特征在于所述S21中的置信度包括目标置信度和目标类别置信度，目标置信度表示预测的位置是否包含目标，目标类别置信度表示目标的类别是否为车牌；所述S22中的置信度损失包括目标置信度损失和目标类别置信度损失，目标置信度损失通过预测是否有目标与目标真值计算损失得到，目标类别置信度损失通过预测目标是否为车牌与车牌真值计算损失得到。3CN113947766A说明书1/7页一种基于卷积神经网络的