基于单目RGB-D特征和强化学习的端到端自动驾驶决策方法.pdf

(19)中华人民共和国国家知识产权局(12)发明专利申请(10)申请公布号CN113920484A(43)申请公布日2022.01.11(21)申请号202111204252.2(22)申请日2021.10.15(71)申请人湖南师范大学地址410081湖南省长沙市岳麓区麓山路36号(72)发明人卢笑竺一薇明月周炫余(74)专利代理机构长沙市护航专利代理事务所(特殊普通合伙)43220代理人莫晓齐(51)Int.Cl.G06V20/56(2022.01)G06V10/80(2022.01)G06V10/82(2022.01)G06N3/04(2006.01)G06N3/08(2006.01)权利要求书3页说明书14页附图3页(54)发明名称基于单目RGB-D特征和强化学习的端到端自动驾驶决策方法(57)摘要本发明公开了基于单目RGB‑D特征和强化学习的端到端自动驾驶决策方法，包括：获取RGB图像，将RGB图像输入至预先训练好的图像特征提取网络和预先训练好的单目深度特征提取网络；预先训练好的图像特征提取网络对RGB图像进行特征提取得到第一图像特征，预先训练好单目深度特征提取网络对RGB图像进行特征提取得到第一深度特征；对图像特征和深度特征进行RGB‑D特征融合，得到融合后的第一特征向量；将融合后的第一特征向量和预先存储的历史动作向量拼接得到第一状态向量，并将第一状态向量输入至预先训练好的智能体网络得到Q值，根据Q值进行自动驾驶决策。提高智能体环境感知的能力，进而增强自动驾驶决策能力。CN113920484ACN113920484A权利要求书1/3页1.基于单目RGB‑D特征和强化学习的端到端自动驾驶决策方法，其特征在于，所述方法包括以下步骤：步骤S500：获取RGB图像，将所述RGB图像输入至预先训练好的图像特征提取网络和预先训练好的单目深度特征提取网络；步骤S600：所述预先训练好的图像特征提取网络对所述RGB图像进行特征提取得到第一图像特征，所述预先训练好的单目深度特征提取网络对所述RGB图像进行特征提取得到第一深度特征；步骤S700：对所述图像特征和所述第一深度特征进行RGB‑D特征融合，得到融合后的第一特征向量；步骤S800：将所述融合后的第一特征向量和预先存储的历史动作向量拼接得到第一状态向量，并将所述第一状态向量输入至预先训练好的智能体网络得到Q值，根据所述Q值进行自动驾驶决策。2.根据权利要求1所述的方法，其特征在于，步骤S500之前还包括：步骤S100：搭建图像特征提取网络、单目深度特征提取网络和智能体网络；步骤S200：获取RGB训练图像It和It‑1，将所述It输入至所述图像特征提取网络得到第二图像特征，将所述It和It‑1输入至所述单目深度特征提取网络进行训练得到第二深度特征；步骤S300：对所述第二图像特征和所述第二深度特征进行RGB‑D特征融合，得到融合后的第二特征向量；步骤S400：将所述融合后的第二特征向量和预先存储的历史动作向量拼接得到第二状态向量，根据所述第二状态向量得到训练样本组放入经验回放池，从经验回放池中获取预设组训练样本，根据所述预设组训练样本和预设的目标网络对所述智能体网络进行训练得到训练好的智能体网络。3.根据权利要求2所述的方法，其特征在于，所述单目深度特征提取网络包括深度网络和位姿网络，深度网络包括第一编码模块和第一解码模块，所述位姿网络包括第二编码模块和第二解码模块，步骤S200中将所述It和It‑1输入至所述单目深度特征提取网络得到第二深度特征，包括：步骤S210：所述第一编码模块采用深度残差网络对It进行特征提取输出特征图，所述第一解码模块对所述第一编码模块输出的特征图上采样至不同的尺寸得到不同的尺寸的特征图，并将所述不同的尺寸的特征图分别上采样至原图大小；步骤S220：将上采样至原图大小后的多个特征图沿通道拼接得到第二深度特征；步骤S230：所述第二编码模块采用深度残差网络对It和It‑1进行编码后输入至所述第二解码模块，所述第二解码模块对编码后的It和It‑1进行解码，回归出解码后的It和It‑1中对应每个像素点的运动信息；步骤S240：根据对应每个像素点的运动信息，利用全局平均池化求得It‑1到It的轴角与平移向量位姿，并通过罗德里格旋转公式得到位姿旋转矩阵步骤S250：根据所述位姿旋转矩阵和预设的第一损失函数得到光度重投影误差，根据所述光度重投影误差进行反向传播优化所述单目深度特征提取网络的网络参数。4.根据权利要求3所述的方法，其特征在于，步骤S250中根据所述位姿旋转矩阵和2CN113920484A权利要求书2/3页预设的第一损失函数得到光度重投影误差，包括：其中，It‑1→t是利用位姿旋转矩阵预测深度图Dt及相机内参K将It‑1映射至t时刻的结果，具体为：其中