一种基于时空图与空域聚合Transformer网络的轨迹预测方法.pdf

(19)国家知识产权局(12)发明专利申请(10)申请公布号CN114997067A(43)申请公布日2022.09.02(21)申请号202210767796.8(22)申请日2022.06.30(71)申请人南京航空航天大学地址210016江苏省南京市秦淮区御道街29号(72)发明人曾繁虎杨欣王翔辰李恒锐樊江锋周大可(74)专利代理机构南京瑞弘专利商标事务所(普通合伙)32249专利代理师马玉雯(51)Int.Cl.G06F30/27(2020.01)G06F16/9537(2019.01)G06F119/02(2020.01)权利要求书3页说明书9页附图1页(54)发明名称一种基于时空图与空域聚合Transformer网络的轨迹预测方法(57)摘要本发明公开一种基于时空图与空域聚合Transformer网络的轨迹预测方法，解决了现有行人轨迹预测输出存在的交互特征提取不足的问题，使用时空图卷积神经网络以及时序特征变换网络操作完成对场景内行人轨迹特征的有效、准确提取，同时设计一个全新的空域聚合Transformer架构进行行人时序特征变换，完成对空域行人特征的高效聚合与利用，最终以概率分布的形式完成对行人预测轨迹的输出，达到对突发状况进行合理避让、保持组群行人运动一致性的目的，相关指标表明本架构在预测行人终点方面取得了突破，完成对行人轨迹分布更加准确、高效预测的目的，对于自动驾驶、智慧交通等领域的发展提供了重要帮助。CN114997067ACN114997067A权利要求书1/3页1.一种基于时空图与空域聚合Transformer网络的轨迹预测方法，其特征在于，包括以下几个步骤：(1)利用图的特性从输入的原始数据中对场景内行人轨迹特征信息进行图表示与预处理，选取合适的核函数完成对邻接矩阵的构建，为后续网络架构输入提供准确、高效的场景内行人轨迹特征信息；(2)建立时空图卷积神经网络模块，构建图卷积神经网络，通过选择对行人轨迹特征的图卷积次数完成对步骤(1)中图表示与预处理后的行人轨迹特征信息的初步提取，确保提取特征的准确、有效；(3)建立时序特征变换网络模块，通过设计卷积神经网络完成时序特征信息的提取与特征维度的变换；(4)建立空域聚合Transformer网络，使用场景内每个行人的时序特征向量作为输入向量，同时输入Transformer网络进行空域特征的进一步聚合，并且完成行人轨迹预测序列的输出。2.如权利要求1所述的一种基于时空图与空域聚合Transformer网络的轨迹预测方法，其特征在于，所述步骤(1)中，引入时空图对输入的原始行人轨迹数据进行图表示，从多种核函数中选择合适的核函数构建图意义下的邻接矩阵，完成高效的场景内行人特征构建与选择，为后续建模提供准确、高效的信息。3.如权利要求2所述的一种基于时空图与空域聚合Transformer网络的轨迹预测方法，其特征在于，所述引入时空图对输入的原始行人轨迹数据进行图表示具体为：对于每个时刻t，引入一个空间图Gt，用来表示每个时间点行人间的交互特征关系；Gt定义为Gt＝(Vt，Et)，其中，Vt具体表示时刻t场景内行人的坐标信息，即每个的特征信息使用观测的相对坐标变化来进行刻画，即：其中，i＝1,…,N，t＝2,…,Tobs，对于初始时刻，规定其位置相对偏移为0，即Et则表示空间图Gt的边信息，其是一个维度大小为n×n的矩阵；定义为的取值由如下方式给出：如果节点与节点相连，那么反之，如果节点与节点不相连，那么4.如权利要求2所述的一种基于时空图与空域聚合Transformer网络的轨迹预测方法，其特征在于，所述从多种核函数中选择合适的核函数构建图意义下的邻接矩阵具体为：引入加权邻接矩阵At对行人空间图的节点信息进行加权表示，通过核函数变换得到行人间相互影响的大小并存储在加权邻接矩阵At中；选用两个节点在欧式空间中距离的倒数作为核函数，并且为了避免二者过于接近而导致的函数发散问题，加入一个微小的常量ε来加速模型收敛，表达式如下：2CN114997067A权利要求书2/3页在时间维度上对于每一个时刻的空间图Gt进行堆叠，即得到图表示下的行人轨迹预测时空图序列G＝{G1,…,GT}。5.如权利要求4所述的一种基于时空图与空域聚合Transformer网络的轨迹预测方法，其特征在于，所述步骤(2)具体为：对于输入得到的特征图时间序列，通过建立的时空图卷积神经网络得到输出：et＝GNN(Gt)(1.6)其中，GNN表示构建的时空图卷积神经网络，其由多层的图卷积迭代得到输出结果；et表示通过图神经网络从空间维度初步提取的时空特征信息；对于每一个时刻的输出，均有这样的操作；而实际图卷积神经网络得到的输出则是这样时间序列的堆叠：eg＝Stack(et)(1.7)其中，Stack(·)表示对