一种基于驾驶先验知识的端到端自动驾驶决策方法.pdf

(19)国家知识产权局(12)发明专利申请(10)申请公布号CN115959155A(43)申请公布日2023.04.14(21)申请号202211645398.5G06V10/28(2022.01)(22)申请日2022.12.16G06V10/26(2022.01)G06V10/764(2022.01)(71)申请人电子科技大学G06V10/82(2022.01)地址611731四川省成都市高新区（西区）G06N3/0442(2023.01)西源大道2006号G06N3/08(2023.01)(72)发明人李曙光胡杰瑞孔召权杨汝贵程洪(74)专利代理机构电子科技大学专利中心51203专利代理师甘茂(51)Int.Cl.B60W60/00(2020.01)G06V20/56(2022.01)G06V10/44(2022.01)G06V10/32(2022.01)权利要求书1页说明书5页附图3页(54)发明名称一种基于驾驶先验知识的端到端自动驾驶决策方法(57)摘要本发明属于自动驾驶领域，具体提供一种基于驾驶先验知识的端到端自动驾驶决策方法，用以解决现有技术中由于单传感器输入导致的信息不足、端到端模型的可解释性低等问题。本发明将车道线特征作为先验知识进行提取，再将车道线先验知识与原始驾驶图像进行共同输入，并结合时序构造将当前输入与之前时刻的输入构造的时间序列，最终基于时间序列由端到端决策网络输出当前时刻的自动驾驶决策转角；在该过程中，车道线特征特征作为先验知识与原始驾驶图像共同参与决策，同时将当前输入与之前时刻的输入共同参与决策，使得决策精度显著提升，进而提高自动驾驶系统的精确度与安全性，有助于自动驾驶车辆的研发、推广及使用。CN115959155ACN115959155A权利要求书1/1页1.一种基于驾驶先验知识的端到端自动驾驶决策方法，其特征在于，包括以下步骤：步骤1：将tn时刻原始摄像头图像Pon作为输入，由先验知识提取模块输出车道线先验知识图像Ppkn；步骤2：将原始图像Pon与车道线先验知识图像Ppkn分别与前m帧的原始图像(Po(n‑m)、Po(n‑m+1)、Po(n‑m+2)、……、Po(n‑1))、车道线先验知识图像(Ppk(n‑m)、Ppk(n‑m+1)、Ppk(n‑m+2)、……、Ppk(n‑1))进行时序构造，形成tn时刻连续多帧的时间滑窗序列Wn；步骤3：将时间滑窗序列Wn输入LSTM决策网络，输出tn时刻转角决策输出An。2.按权利要求1所述基于驾驶先验知识的端到端自动驾驶决策方法，其特征在于，步骤1中，所述先验知识提取模块采用LaneNet车道线检测网络，具体过程为：步骤1‑1：原始图像Pon输入LaneNet车道线检测网络后，经过实例分割分支得到实例分割图像Pisn、经过语义分割分支得到二值化图像Pbn；步骤1‑2：采用二值化图像Pbn对实例分割图像Pisn的背景像素进行屏蔽；步骤1‑3：对屏蔽后的图像像素进行聚类，得到每一条车道线的实例，最终输出车道线先验知识图像Ppkn。3.按权利要求1所述基于驾驶先验知识的端到端自动驾驶决策方法，其特征在于，所述步骤2的具体过程为：步骤2‑1：将tn时刻原始图像Pon与车道线先验知识图像Ppkn配对形成决策对wn(Pon,Ppkn)；步骤2‑2：将wn与前m帧决策对结合建立时间滑窗得到tn时刻连续多帧的时间滑窗序列Wn：Wn(wn‑m,wn‑m+1,wn‑m+2,……,wn‑1,wn)。2CN115959155A说明书1/5页一种基于驾驶先验知识的端到端自动驾驶决策方法技术领域[0001]本发明属于自动驾驶领域，具体提供一种基于驾驶先验知识的端到端自动驾驶决策方法。背景技术[0002]自动驾驶成为当今科技发展的重点与热点领域，自动驾驶决策作为自动驾驶实现过程中的核心步骤，其准确性与安全性将直接影响到自动驾驶系统的性能；自动驾驶车辆损坏财物以及伤人的报道频繁出现，安全性成为限制自动驾驶推广的重大因素。传统的基于规则的自动驾驶决策方法对传感器要求高、输入信息量需求大、系统实现成本高昂，且实现过程步骤复杂；自动驾驶系统需要根据当前车辆周围环境，结合人工构建的规则库进行决策并实现对车辆的实时控制，其驾驶习惯与人类驾驶员存在差别，乘坐感受并不舒适，且遇到规则库中未进行定义的场景时，存在安全隐患。[0003]端到端自动驾驶决策方法利用深度神经网络将自动驾驶实现的步骤进行统一处理，直接根据少量感知信息输出控制量对车辆进行控制映射，而无需对各子模块进行拆分优化，只需对算法进行全局优化即可；该方法减少了工程的复杂度，降低了对传感器以及输入信息量的要求，便于部署，并能够更好地发挥整个系统的性能；但是，由于大多数研究关注的是经验的获得与归纳，即样本的学习过程，这导致了端到端模型的