一种基于端到端的自动驾驶车辆实现方法.pdf

(19)国家知识产权局(12)发明专利申请(10)申请公布号CN115009304A(43)申请公布日2022.09.06(21)申请号202210750211.1(22)申请日2022.06.29(71)申请人扬州大学地址225009江苏省扬州市大学南路88号(72)发明人唐晓峰(74)专利代理机构南京苏高专利商标事务所(普通合伙)32204专利代理师柏尚春(51)Int.Cl.B60W60/00(2020.01)B60W50/00(2006.01)B60W50/023(2012.01)B60W40/06(2012.01)B60W40/04(2006.01)权利要求书4页说明书11页附图1页(54)发明名称一种基于端到端的自动驾驶车辆实现方法(57)摘要本发明公开了一种基于端到端的自动驾驶车辆实现方法，面向雨雪天气下的复杂道路环境，通过构造雨雪天气下的车道线边界模糊、遮挡以及缺失特点的数据集和多目标动态环境数据集，采用基于NLNet的空间和通道双注意力机制的Lanenet模型进行车道线识别，将模型进行压缩，构建多目标动态障碍物的模型及数据集，提出了虚拟数据的控制方法，采用虚拟数据实现车辆的虚拟控制，并设计了冗余控制系统，以应对车辆控制功能失效问题。本该发明解决了端到端学习方法的鲁棒性较差特点，实现了从感知到控制的端到端的自动驾驶车辆方法，有助于提升车辆的实时响应性，更好地实现在复杂道路环境的自动驾驶。CN115009304ACN115009304A权利要求书1/4页1.一种基于端到端的自动驾驶车辆实现方法，其特征在于，包括以下步骤：(1)构造雨雪天气下的车道线边界模糊、遮挡以及缺失特点的数据集和多目标动态环境数据集；(2)采用基于NLNet的空间和通道双注意力机制的Lanenet模型进行车道线识别，将注意力机制结构设计在前向编码网络中；(3)构建多目标动态障碍物的模型，并采用有监督学习进行雨雪天气下图像数据的标注任务，进行复杂道路环境的多目标跟踪；(4)设定具有前馈预测效果的闭环控制系统，以实现车辆的控制；(5)提出非线性模型预测控制系统，以前一时刻的实时数据为依据，采用卡尔曼滤波算法预测车辆下一时刻的数据作为虚拟数据，以虚拟数据为样本，采用最优控制算法实现车辆的安全行驶，一直到车辆安全停止；(6)当车辆控制功能失效时，提出冗余控制系统；所述冗余控制系统以自适应模型预测控制算法为主，不断地检测道路环境的状态、车道线数据、多目标动态障碍物的状态，以车辆所能安全行驶的状态参数作为主要判断依据，确保车辆有效地行驶各种道路环境中。2.根据权利要求1所述的一种基于端到端的自动驾驶车辆实现方法，其特征在于，所述步骤(1)实现过程如下：利用车载视觉传感器获取道路车道线的视频数据，道路车道线视频数据是基于雨雪和晴天下二车道、三车道和单车道场景的车道线缺失成分、模糊以及被遮挡区域，然后将视频数据压缩成一幅幅图片格式，形成基于复杂非结构化道路环境的车道线数据集，将数据集划分为训练集、验证集和测试集的比例为7：1：2；将数据集进行标注，并且将标注后的车道线图像转成语义分割标签图和实例分割标签图。3.根据权利要求1所述的一种基于端到端的自动驾驶车辆实现方法，其特征在于，所述步骤(2)实现过程如下：采用基于NLNet的空间和通道双注意力机制的Lanenet模型进行车道线识别，将注意力机制结构设计在前向编码网络中，在输出聚类车道线数据中，采用三次多项式拟合；将增加注意力机制的Lanenet网络模型进行压缩，首先依据权重距离度量将数值较低的权重压缩，并且进行卷积核压缩，首先对网络模型进行稀疏化，并且设计相应的卷积核压缩比例，进行深层卷积核的压缩，针对多车道线场景下车道线的特征，设计准确率和响应速度为主的多目标优化任务，使算法能得到不同场景下的优化：建立以准确率变化量和模型参数变化量为目标的多目标优化函数：Objmax＝20·α·(m‑M)+β·Xα+β＝1其中，α为准确率变化权重系数，决定在优化过程中算法准确率的重要程度，β为压缩权重系数，决定在优化过程中算法响应速度的重要程度，取值为正；M为算法的原始准确率，m为算法优化后的准确率，X为算法优化后的压缩比例，N为算法的原始参数量，n为算法优化后的参数量。4.根据权利要求1所述的一种基于端到端的自动驾驶车辆实现方法，其特征在于，所述2CN115009304A权利要求书2/4页步骤(3)实现过程如下：针对雨雪天气下的复杂道路环境，构建激光雷达点云数据，对点云进行滤波简化，除去冗余点云，以形成标准的样本数据集，并建立点云数据结构的空间离散点拓扑关系，实现点云的快速邻域搜索，以创建起有效的点云图；针对雨雪天气下的复杂道路环境，采用车载传感器实现视觉传感器的图像数据获取，并且构建视觉传感器图像数据集，从数据集中获