一种基于预定义树的多模态行人轨迹预测方法及系统.pdf

(19)国家知识产权局(12)发明专利申请(10)申请公布号CN114511594A(43)申请公布日2022.05.17(21)申请号202210102828.2G06N3/08(2006.01)(22)申请日2022.01.27G06K9/62(2022.01)(71)申请人西安交通大学地址710049陕西省西安市咸宁西路28号申请人宁波市舜安人工智能研究院(72)发明人王乐石刘帅周三平陈士韬辛景民郑南宁(74)专利代理机构西安通大专利代理有限责任公司61200专利代理师李鹏威(51)Int.Cl.G06T7/246(2017.01)G06V10/80(2022.01)G06V10/82(2022.01)G06N3/04(2006.01)权利要求书3页说明书10页附图2页(54)发明名称一种基于预定义树的多模态行人轨迹预测方法及系统(57)摘要本发明公开了一种基于预定义树的多模态行人轨迹预测方法及系统，所述方法包括以下步骤：获取行人的观测轨迹序列；基于行人的观测轨迹序列中的运动速度，构建粗粒度轨迹树；基于观测轨迹序列和粗粒度轨迹树，采用预训练好的神经网络对所述粗粒度轨迹树的每个分支进行优化，获得优化后的轨迹树；其中，所述优化后的轨迹树的分支用于表示最终的多模态行人轨迹预测结果。本发明中，基于行人的通用运动模式，将多种可能的未来轨迹表示成一颗轨迹树，每条从根节点到叶子节点的路径表示成一种可能的路径，具有良好的可解释性与独特的运动特征；可预测出稳定的、更加准确的多模态未来轨迹。CN114511594ACN114511594A权利要求书1/3页1.一种基于预定义树的多模态行人轨迹预测方法，其特征在于，包括以下步骤：获取行人的观测轨迹序列；基于行人的观测轨迹序列中的运动速度，构建粗粒度轨迹树；其中，所述粗粒度轨迹树的分支用于分别代表行人未来轨迹的不同模态；基于观测轨迹序列和粗粒度轨迹树，采用预训练好的神经网络对所述粗粒度轨迹树的每个分支进行优化，获得优化后的轨迹树；其中，所述优化后的轨迹树的分支用于表示最终的多模态行人轨迹预测结果。2.根据权利要求1所述的一种基于预定义树的多模态行人轨迹预测方法，其特征在于，所述基于行人的观测轨迹序列中的运动速度，构建粗粒度轨迹树的步骤具体包括：1)对于长度T1的观测轨迹序列，获取其运动速度V；2)设置需要预测的轨迹序列长度为T2，树的分裂方向个数为N，分裂长度为步骤1)获取的运动速度的K倍，K∈Z,0<K≤T2；设置分裂矩阵为W(α)，其中α∈[0,2π]；3)根据步骤1)获取的运动速度V，步骤2)设置的树的分裂长度、分裂方向和分裂矩阵W(α)，设置树的N个分裂方向向量，其中第n个分裂方向向量为W(αn)VK，其中n∈[0,N‑1]；4)以观测轨迹序列的最后一个时间点根节点，使用步骤3)设置的N个分裂方向向量以递归的方式进行树的分裂，构建获得粗粒度轨迹树。3.根据权利要求2所述的一种基于预定义树的多模态行人轨迹预测方法，其特征在于，步骤1)中，所述运动速度V为观测轨迹序列的平均速度、最大速度或最后一个时间点的速度。4.根据权利要求1所述的一种基于预定义树的多模态行人轨迹预测方法，其特征在于，所述神经网络的结构包括：第一多层感知机，用于输入观测轨迹序列，输出观测特征；第二多层感知机，用于输入待优化粗粒度轨迹树，输出分支特征；自注意力机制，用于输入所述观测特征，输出交互特征；注意力机制，用于输入所述分支特征和所述交互特征，输出所述待优化粗粒度轨迹树的分支的注意力分数；第三多层感知机，用于输入预获取的粗粒度未来真实轨迹序列，输出未来特征；第四多层感知机，用于输入所述分支分数最高的分支对应的分支特征，输出优化后的分支；第五多层感知机，用于输入混合特征，输出所述观测轨迹序列对应的未来预测轨迹；其中，所述混合特征由未来特征与交互特征相加得到。5.根据权利要求4所述的一种基于预定义树的多模态行人轨迹预测方法，其特征在于，所述预训练好的神经网络的获取步骤包括：获取训练样本集合；其中，每个样本均包括：观测轨迹序列、粗粒度轨迹树、未来真实轨迹序列、粗粒度未来真实轨迹序列和粗粒度轨迹标签；采用训练样本进行训练，包括：在观测轨迹序列上使用第一多层感知机提取观测特征；在粗粒度轨迹树的每个分支上使用第二多层感知机提取分支特征；在所述观测特征上使用自注意力机制提取交互特征；2CN114511594A权利要求书2/3页在每个粗粒度轨迹树的分支特征上计算与交互特征的注意力分数，得到每个分支的注意力分数；在粗粒度未来真实轨迹序列上使用第三多层感知机提取未来特征；将未来特征与交互特征相加得到混合特征；在最高注意力分数对应分支上使用第四多层感知机来得到优化分支；在混合特征上使用第五多层感知机来得到未来预测轨迹；采用损失函数，达到预设收