实时精准车道线检测和分类方法、系统及车辆.pdf

(19)国家知识产权局(12)发明专利申请(10)申请公布号CN115965924A(43)申请公布日2023.04.14(21)申请号202310000205.9G06N3/045(2023.01)(22)申请日2023.01.02G06N3/0464(2023.01)G06N3/082(2023.01)(71)申请人重庆长安汽车股份有限公司G06N5/022(2023.01)地址400023重庆市江北区建新东路260号(72)发明人詹东旭冯绪杨(74)专利代理机构重庆华科专利事务所50123专利代理师谭小琴(51)Int.Cl.G06V20/56(2022.01)G06V10/72(2022.01)G06V10/82(2022.01)G06V10/764(2022.01)G06V10/766(2022.01)G06V10/776(2022.01)G06V10/774(2022.01)权利要求书2页说明书9页附图9页(54)发明名称实时精准车道线检测和分类方法、系统及车辆(57)摘要本发明公开了一种实时精准车道线检测和分类方法、系统及车辆，包括：步骤1、采集车道线数据；步骤2、对数据清洗；步骤3、数据标注；步骤4、以LaneATT为初始模型架构，采用了神经网络架构搜索的方式，搜索出两个主干网络，其中一个为重型主干网络；另一个为轻量级主干网络；步骤5、将重型主干网络作为车道线检测老师模型，将轻量级网络作为车道线检测学生模型，并进行知识蒸馏，然后采用自注意力蒸馏方式将轻量级网络学习到的车道线特征做加强处理；步骤6、将车道线同时进行位置回归和分类，以实现同时对车道线的位置和类别的预测。本发明能够同时预测车道线位置和类别，且具有高实时性和低资源消耗。CN115965924ACN115965924A权利要求书1/2页1.一种实时精准车道线检测和分类方法，其特征在于，包括以下步骤：步骤1、采集车道线数据；步骤2、对采集的数据进行清洗；步骤3、对清洗后的数据进行标注；步骤4、以LaneATT为初始模型架构，采用了神经网络架构搜索的方式，搜索出两个主干网络，其中一个为重型主干网络，另一个为轻量级主干网络；步骤5、将重型主干网络作为车道线检测老师模型，将轻量级网络作为车道线检测学生模型，并进行知识蒸馏，然后采用自注意力蒸馏方式将轻量级网络学习到的车道线特征做加强处理；步骤6、将车道线同时进行位置回归和分类，以实现同时对车道线的位置和类别的预测。2.根据权利要求1所述的实时精准车道线检测和分类方法，其特征在于：所述步骤1具体为：将摄像头安装在数据采集车的正前挡风玻璃上，并保证视场内有道路上的车道线，并在不同的工况下采集数据。3.根据权利要求2所述的实时精准车道线检测和分类方法，其特征在于：所述步骤2具体为：对每个摄像头的每一段视频按照预设间隔进行抽帧，然后对抽帧的图片进行筛选，尽可能覆盖各种场景。4.根据权利要求3所述的实时精准车道线检测和分类方法，其特征在于：所述步骤3具体为：对于每一条车道线用分段折线来标示出，同时标出车道线类型。5.根据权利要求1至3任一所述的实时精准车道线检测和分类方法，其特征在于：所述步骤4具体为：以Resnet122‑LaneATT网络为大模型设计原型，抽取训练数据，利用DARTS搜索算法，以模型的车道线检测准确率Accuracy为优化指标，搜索出一个检测车道线的大模型，然后对大模型进行训练和测试，即得到重型主干网络；以Resnet18‑LaneATT网络为小模型设计原型，抽取训练数据，利用DARTS搜索算法，以模型的车道线检测准确率Accuracy为优化指标，搜索出了一个检测车道线的小模型，然后对小模型进行训练和测试，即得到轻量级主干网络。6.根据权利要求5所述的实时精准车道线检测和分类方法，其特征在于：所述步骤5具体为：将训练出来的大模型作为车道线检测老师模型，将训练出来的小模型作为车道线检测学生模型，采用知识蒸馏，将大模型的特征知识转移到小模型上面；在知识蒸馏完毕后，进行自注意力蒸馏，使得车道线的细长结构特征更容易被模型学习。7.根据权利要求6所述的实时精准车道线检测和分类方法，其特征在于：所述步骤6具体为：以搜索出来的车道线检测学生模型为基本架构，加入一个分类分支头，同时进行多任2CN115965924A权利要求书2/2页务训练，包括回归和分类，然后从测试集合里面挑选出包括有各种类型车道线的图片进行了种类标注，训练时取出部分图片作为训练集，取出部分图片作为验证集，用于对模型的训练和测试。8.根据权利要求7所述的实时精准车道线检测和分类方法，其特征在于，还包括步骤7：模型部署，具体为：将步骤6得到的模型导出成onnx格式，并利用onnxruntime的tensorrt接口对所有参数进行了FP16量化，同时对部分