一种多视角注意力机制的端到端自动驾驶行为决策方法.pdf

(19)国家知识产权局(12)发明专利申请(10)申请公布号CN115092178A(43)申请公布日2022.09.23(21)申请号202210735642.0G06V20/40(2022.01)(22)申请日2022.06.27G06V10/80(2022.01)G06V10/82(2022.01)(71)申请人电子科技大学G06V10/77(2022.01)地址611731四川省成都市高新区（西区）G06N3/04(2006.01)西源大道2006号(72)发明人赵洋李杰李曙光彭知南黄瑞程洪(74)专利代理机构电子科技大学专利中心51203专利代理师邓黎(51)Int.Cl.B60W60/00(2020.01)B60W40/02(2006.01)B60W50/00(2006.01)G06V20/56(2022.01)权利要求书1页说明书4页附图2页(54)发明名称一种多视角注意力机制的端到端自动驾驶行为决策方法(57)摘要本发明公开了一种多视角注意力机制端到端自动驾驶行为决策方法，属于自动驾驶技术领域。该方法基于多摄像头获取的视频流信息，得到各视角的多时刻场景图像；将其分别降维后得到各视角特征，通过多视角注意力网络模块提取出各视角特征融合了其它视角不同事物的权重信息，再将该权重信息作用回原输入，得到各视角的融合特征；再分别经过池化处理后输入长短时记忆网络，获取各视角的时序特征；最后结合实时导航信息，预测车辆的转角控制量和速度控制量，作为最终的决策信息。本发明基于多视角注意力，综合各个视觉传感器提取车身周围目标位置信息和时间信息，使得预测过程更能观察到车身周围应注意信息，从而使预测结果更加准确。CN115092178ACN115092178A权利要求书1/1页1.一种多视角注意力机制的端到端自动驾驶行为决策方法，其特征在于，包括如下步骤：S1.基于多摄像头获取的视频流信息，预处理得到各视角的多时刻场景图像；S2.将各视角的多时刻场景图像分别降维后得到各视角特征，然后输入多视角注意力网络模块；所述多视角注意力网络模块提取出各视角特征融合了其它视角不同事物的权重信息，再将该权重信息作用回原输入，得到各视角的融合特征；S3.各视角的融合特征分别经过池化处理后输入长短时记忆网络，获取各视角的时序特征；S4.将实时导航地图视频流信息输入到卷积神经网络中，获取实时导航信息；S5.将各视角的时序特征、实时导航信息输入到第一多层感知机中，预测车辆的转角控制量和速度控制量，作为最终的决策信息。2.如权利要求1所述的一种多视角注意力机制的端到端自动驾驶行为决策方法，其特征在于，所述多视角注意力网络模块包括四个尺寸不同、依次连接的多视角注意力网络子模块；所述多视角注意力网络子模块为空间子模块时，输出融合空间特征；为通道子模块时，输出融合通道特征；为空间子模块和通道子模块的串联组成时，输出融合空间通道特征；为通道子模块和空间子模块的串联组成时，输出融合通道空间特征。3.如权利要求2所述的一种多视角注意力机制的端到端自动驾驶行为决策方法，其特征在于，所述通道子模块，用于提取各视角不同事物的响应权重信息；以各视角特征作为输入，经过通道维度进行融合，得到通道融合信息；所述通道融合信息分别经过平均池化和最大池化处理，得到包含了各视角所有通道的平均响应的一维向量和最大响应的一维向量；两种一维向量再同时输入第二多层感知机，提取各视角通道注意力权重信息；再将通道注意力权重信息按照原通道融合的顺序进行拆分，得到各视角特征融合了其它视角不同事物的权重信息；将各视角特征融合了其它视角不同事物的权重信息，分别作用回原输入，得到各视角的融合通道特征。4.如权利要求2或3所述的一种多视角注意力机制的端到端自动驾驶行为决策方法，其特征在于，所述空间子模块，用于提取各视角不同事物的位置权重信息；以各视角特征作为输入，分别经过平均池化和最大池化在空间维度进行压缩并组合，得到各视角压缩后的空间特征图；该空间特征图经过CNN网络处理后得到更精细的各视角空间特征信息；将各视角空间特征信息沿空间中同一维度进行融合，融合后的特征信息经过一组卷积神经网络，再次提取得到各视角空间注意力权重信息；将各视角空间注意力权重信息经由泰勒激活函数处理，再按照原空间融合的顺序进行拆分，得到各视角融合了其它视角不同事物的位置权重信息；将各视角融合了其它视角不同事物的位置权重信息，分别作用回原输入，得到各视角的融合空间特征。2CN115092178A说明书1/4页一种多视角注意力机制的端到端自动驾驶行为决策方法技术领域[0001]本发明属于自动驾驶技术领域，涉及一种多视角注意力机制端到端自动驾驶行为决策方法。背景技术[0002]我国汽车保有量不断增加，由于驾驶员驾驶技术良莠不齐，导致公路交通拥堵、发生交通