自动驾驶方法、装置、设备以及存储介质.pdf

(19)国家知识产权局(12)发明专利申请(10)申请公布号CN115097825A(43)申请公布日2022.09.23(21)申请号202210686015.2(22)申请日2022.06.16(71)申请人京东科技信息技术有限公司地址100176北京市大兴区经济技术开发区科创十一街18号院2号楼6层601(72)发明人沈力杨龙陶大程(74)专利代理机构北京英赛嘉华知识产权代理有限责任公司11204专利代理师王达佐马晓亚(51)Int.Cl.G05D1/02(2020.01)权利要求书2页说明书8页附图3页(54)发明名称自动驾驶方法、装置、设备以及存储介质(57)摘要本公开提供了自动驾驶方法、装置、设备以及存储介质，涉及人工智能领域，尤其涉及强化学习技术领域。具体实现方案为：根据强化学习过程中的初始代价函数，确定策略空间的目标函数；根据预设的代价阈值以及目标函数，确定策略空间内的最优策略；根据最优策略，确定智能移动体的自动驾驶策略。本实现方式可以利用强化学习为移动智能体确定出最优自动驾驶策略，从而能够提高移动智能体的安全性。CN115097825ACN115097825A权利要求书1/2页1.一种自动驾驶方法，包括：根据强化学习过程中的初始代价函数，确定策略空间的目标函数；根据预设的代价阈值以及所述目标函数，确定所述策略空间内的最优策略；根据所述最优策略，确定智能移动体的自动驾驶策略供自动驾驶。2.根据权利要求1所述的方法，其中，所述根据强化学习过程中的初始代价函数，确定策略空间的目标函数，包括：根据所述初始代价函数以及拉格朗日乘子函数，确定所述初始代价函数的对偶函数；根据所述对偶函数，确定所述目标函数。3.根据权利要求1所述的方法，其中，所述根据预设的代价阈值以及所述目标函数，确定所述策略空间内的最优策略，包括：根据预设的策略函数，确定所述目标函数关于不同参数的导数函数；在梯度方向对所述不同参数进行迭代，确定迭代的参数在预设的时间条件下产生的策略为最优策略。4.根据权利要求1所述的方法，其中，所述根据所述最优策略，确定智能移动体的自动驾驶策略，包括：根据所述移动智能体的位置、行驶环境以及所述最优策略，确定所述移动智能体的自动驾驶策略。5.根据权利要求4所述的方法，其中，所述方法还包括：构建凸性策略空间。6.一种自动驾驶装置，包括：目标函数确定单元，被配置成根据强化学习过程中的初始代价函数，确定策略空间的目标函数；最优策略确定单元，被配置成根据预设的代价阈值以及所述目标函数，确定所述策略空间内的最优策略；自动驾驶单元，被配置成根据所述最优策略，确定智能移动体的自动驾驶策略供自动驾驶。7.根据权利要求6所述的装置，其中，所述目标函数确定单元进一步被配置成：根据所述初始代价函数以及拉格朗日乘子函数，确定所述初始代价函数的对偶函数；根据所述对偶函数，确定所述目标函数。8.根据权利要求6所述的装置，其中，所述最优策略确定单元进一步被配置成：根据预设的策略函数，确定所述目标函数关于不同参数的导数函数；在梯度方向对所述不同参数进行迭代，确定迭代的参数在预设的时间条件下产生的策略为最优策略。9.根据权利要求6所述的装置，其中，所述自动驾驶单元进一步被配置成：根据所述移动智能体的位置、行驶环境以及所述最优策略，确定所述移动智能体的自动驾驶策略。10.根据权利要求6所述的装置，其中，所述装置还包括：策略空间构建单元，被配置成构建凸性策略空间。11.一种电子设备，包括：2CN115097825A权利要求书2/2页至少一个处理器；以及与所述至少一个处理器通信连接的存储器；其中，所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行权利要求1‑5中任一项所述的方法。12.一种存储有计算机指令的非瞬时计算机可读存储介质，所述计算机指令用于使所述计算机执行权利要求1‑5中任一项所述的方法。13.一种计算机程序产品，包括计算机程序，所述计算机程序在被处理器执行时实现根据权利要求1‑5中任一项所述的方法。3CN115097825A说明书1/8页自动驾驶方法、装置、设备以及存储介质技术领域[0001]本公开涉及人工智能技术领域，尤其涉及强化学习领域，具体涉及自动驾驶方法、装置、设备以及存储介质。背景技术[0002]强化学习是人工智能领域一个热门领域，其是由代理对环境的感知方式。强化学习主要关注智能体在环境中如何采取动作，以最大化累积奖赏。在许多环境中，安全是一个关键问题，某些错误是不可接受的：例如，与人类交互的机器人系统在探索时不应对人类造成伤害。虽然目前主要或完全在模拟中培训强化学习代理是典型的，安全问题很少，但我们预计模拟现实世界复杂性(如人工智能交互)的挑战将导致直接在现实世界中培训强化学