一种基于深度强化学习和A星算法的无人车路径规划方法.pdf

(19)国家知识产权局(12)发明专利申请(10)申请公布号CN115933629A(43)申请公布日2023.04.07(21)申请号202210357348.0(22)申请日2022.04.01(71)申请人中国人民解放军军事科学院国防科技创新研究院地址100071北京市丰台区丰台东大街53号(72)发明人王旭商尔科聂一鸣肖良赵大伟戴斌(74)专利代理机构中国兵器工业集团公司专利中心11011专利代理师王智红(51)Int.Cl.G05D1/02(2020.01)权利要求书2页说明书6页附图5页(54)发明名称一种基于深度强化学习和A星算法的无人车路径规划方法(57)摘要本发明公开了基于深度强化学习和A星算法的无人车路径规划方法，属于无人驾驶汽车技术。驾驶无人车在越野环境中采集3D点云数据，记录无人车行驶路径；从采集的点云数据中生成多张栅格障碍图，从无人车行驶过的路径中生成当前栅格图中的目标点；利用栅格障碍图以及一张表示无人车的矩形构建仿真环境；利用A星算法从每张障碍图中生成引导路径；根据引导路径的长度和光滑度为不同障碍图设定不同的难度；并利用引导路径设计奖励函数；利用近端策略优化算法和奖励函数，使用深度神经网络和数据增强、课程学习在仿真环境中训练无人车智能体；利用无人车走过的路径当作对应障碍图的路径规划结果。本发明适用于不同越野场景和不同尺寸的无人车路径规划。CN115933629ACN115933629A权利要求书1/2页1.一种基于深度强化学习和A星搜索算法的路径规划方法，其特征在于，包括如下步骤：S1:驾驶无人车在越野环境中行驶并采集3D点云数据，记录无人车行驶过的路径；S2:从S1采集的点云数据中生成多张栅格障碍图，从无人车行驶过的路径中生成当前栅格图中的目标点；S3:利用S2中的栅格障碍图以及一张表示无人车的矩形构建仿真环境，矩形上标有箭头，用来标识无人车的方向；S4:利用A星算法从S2中的每张障碍图中生成引导路径；S5:根据S4中引导路径的长度和光滑度为不同障碍图设定不同的难度；S6:利用S4中的引导路径设计奖励函数；S7:利用近端策略优化算法和S6中的奖励函数，使用深度神经网络和数据增强、课程学习在S3中的仿真环境中训练无人车智能体；S8:利用S7中无人车走过的路径当作对应障碍图的路径规划结果。2.根据权利要求1所述的一种基于深度强化学习和A星搜索算法的路径规划方法，其特征在于，所述步骤S2包括如下步骤：S200：采用基于高斯过程回归的地面分割算法，将以车为中心的100米×100米区域内的三维点云数据转化成500×500二维的栅格障碍图，每个栅格的分辨率为0.2米；S201：将障碍图裁剪成尺寸为256×256，便于深度神经网络训练；S202：将当前障碍图中走过的路径的最后一个点当做目标点。3.根据权利要求2所述的一种基于深度强化学习和A星搜索算法的路径规划方法，其特征在于，所述步骤S3包括如下步骤：S300：利用Pygame工具，将S2中的障碍图用作环境，用矩形表示无人车，构建出一个简单的操控无人车在障碍图中行驶的仿真环境，仿真环境中在障碍物坐标处绘制点，可通行区域不绘制任何图像，并用星形表示目标点，仿真环境的截图被用作深度强化学习算法的训练数据；S301：每当无人车执行一个动作，游戏界面会刷新，将无人车绘制在新的坐标，无人车的线加速度为la，角速度为av，当前的角度O，则无人车的坐标计算方式为：x＝x+la×cos(O+av)y＝y‑la×sin(O+av)。4.根据权利要求3所述的一种基于深度强化学习和A星搜索算法的路径规划方法，其特征在于，所述步骤S4包括如下步骤：S400：记录S2中每个障碍图中障碍物的坐标，根据环境来设定膨胀系数并进行障碍物膨胀；S401：利用膨胀后的障碍物重新绘制障碍图，并保存障碍物坐标；S402：在新的障碍图中执行A星算法，得到并记录每条最短路径；S403：从最短路径中均匀选取包含起点和目标点的10个点，用作引导路径。5.根据权利要求4所述的一种基于深度强化学习和A星搜索算法的路径规划方法，其特征在于，所述步骤S5包括如下步骤：2CN115933629A权利要求书2/2页S500：计算所有A星搜索出来的路径长度的平均值和曲率的平均值S501：利用S500中的路径长度平均值和曲率平均值计算每条最短路径的难度，计算方法为：其中，i为障碍图和最短路径的序号，Li表示第i条路径的长度，Ci表示第i条路径的曲率。6.根据权利要求5所述的一种基于深度强化学习和A星搜索算法的路径规划方法，其特征在于，所述步骤S6包括如下步骤：S600：计算无人车当前坐标距目标点的距离与上一时刻坐标距目标点的距离之差δgoal；S601：计算无人车当前坐标距目标点的距离与上一时刻坐标距目标点的距离之差δsta