一种车辆自动换道决策的方法、车载设备和存储介质.pdf

(19)中华人民共和国国家知识产权局(12)发明专利申请(10)申请公布号CN110562258A(43)申请公布日2019.12.13(21)申请号201910938698.4(22)申请日2019.09.30(71)申请人驭势科技（北京）有限公司地址102400北京市房山区弘安路85号2号楼401室(72)发明人徐鲲鹏马万里周小成姜岩(74)专利代理机构北京开阳星知识产权代理有限公司11710代理人郭鑫(51)Int.Cl.B60W30/18(2012.01)B60W40/00(2006.01)B60W40/02(2006.01)权利要求书2页说明书15页附图4页(54)发明名称一种车辆自动换道决策的方法、车载设备和存储介质(57)摘要本公开实施例涉及一种车辆自动换道决策的方法、车载设备和存储介质，方法包括：获取环境信息和车辆状态信息；基于环境信息，构建车辆状态空间图；车辆状态空间图为车辆周围预设范围的图形信息；基于车辆状态空间图，获取多个换道动作的决策信息；基于多个换道动作的决策信息和车辆状态信息，确定一个换道动作。本公开实施例中，通过基于环境信息构建车辆状态空间图，进而基于车辆状态空间图决策换道动作，考虑了环境的不确定性，保留车辆周围环境信息，没有丢失整体的统计信息，可提高决策的有效性。CN110562258ACN110562258A权利要求书1/2页1.一种车辆自动换道决策的方法，其特征在于，所述方法包括：获取环境信息和车辆状态信息；基于所述环境信息，构建车辆状态空间图；所述车辆状态空间图为车辆周围预设范围的图形信息；基于所述车辆状态空间图，获取多个换道动作的决策信息；基于所述多个换道动作的决策信息和所述车辆状态信息，确定一个换道动作。2.根据权利要求1所述的方法，其特征在于，所述环境信息包括：车辆周围环境的信息；所述车辆状态信息包括：当前车速和当前所在车道。3.根据权利要求1所述的方法，其特征在于，所述车辆状态空间图包括：所述车辆、所述车辆周围预设范围内的车道以及所述车辆周围预设范围内的障碍物。4.根据权利要求3所述的方法，其特征在于，所述车辆状态空间图包括：栅格式状态空间图；其中，所述栅格式状态空间图中每个栅格对应预设尺寸的道路区域；所述车辆、车道和障碍物均由栅格表示。5.根据权利要求1所述的方法，其特征在于，所述车辆周围预设范围，包括：车辆前向预设距离、车辆后向预设距离以及车辆侧向预设距离。6.根据权利要求1所述的方法，其特征在于，基于所述环境信息，构建车辆状态空间图，包括：基于所述环境信息，确定所述车辆周围预设范围内的车道以及所述车辆周围预设范围内的障碍物；基于所述车辆周围预设范围内的车道以及所述车辆周围预设范围内的障碍物，构建栅格式状态空间图。7.根据权利要求1所述的方法，其特征在于，基于所述车辆状态空间图，获取多个换道动作的决策信息，包括：基于所述车辆状态空间图和深度强化学习模型，获取多个换道动作的决策信息。8.根据权利要求7所述的方法，其特征在于，所述深度强化学习模型为DQN模型；所述决策信息为所述深度强化学习模型的值函数的Q值。9.根据权利要求7所述的方法，其特征在于，所述深度强化学习模型训练过程中的奖励值设置如下：若车辆变速行驶，则奖励值基于当前车速和当前所在车道的最小车速确定；若车辆直线行驶，则奖励值为预设正值；若车辆发送碰撞，则奖励值为预设负值。10.根据权利要求7所述的方法，其特征在于，所述深度强化学习模型的记忆回放采样包括：确定记忆池中每个样本的贡献值；基于每个样本的贡献值，确定每个样本被采样的概率；基于每个样本被采样的概率，对记忆池中的所有样本进行采样。11.根据权利要求1所述的方法，其特征在于，基于所述多个换道动作的决策信息和所述车辆状态信息，确定一个换道动作，包括：2CN110562258A权利要求书2/2页基于预先设置的车辆行驶约束条件和所述车辆状态信息，确定至少一个有效换道动作；基于所述多个换道动作的决策信息和所述至少一个有效换道动作，确定一个换道动作。12.根据权利要求11所述的方法，其特征在于，基于所述多个换道动作的决策信息和所述至少一个有效换道动作，确定一个换道动作，包括：从所述至少一个有效换道动作中确定决策值最大的换道动作；或，从所述至少一个有效换道动作中确定满足安全条件且决策值最大的换道动作。13.根据权利要求12所述的方法，其特征在于，所述安全条件为：执行换道动作后所述车辆与前车的距离大于或等于安全距离。14.根据权利要求13所述的方法，其特征在于，所述安全距离基于所述车辆的车速确定。15.一种车载设备，其特征在于，包括：处理器和存储器；所述处理器通过调用所述存储器存储的程序或指令，用于执行如权利要求1至14任一项所述方法的步骤。16.一种非暂态计算机可读存储介质，其特