一种全景视频两帧行人轨迹预测方法、装置及存储介质.pdf

(19)国家知识产权局(12)发明专利申请(10)申请公布号CN115760928A(43)申请公布日2023.03.07(21)申请号202211689601.9G06V10/774(2022.01)(22)申请日2022.12.26G06N3/0455(2022.01)G06N3/044(2023.01)(71)申请人哈尔滨工业大学（深圳）G06N3/048(2022.01)地址518000广东省深圳市南山区桃源街G06N3/08(2022.01)道深圳大学城哈尔滨工业大学校区(72)发明人梅杰龙俊岑马广富(74)专利代理机构深圳市深联知识产权代理事务所(普通合伙)44357专利代理师张琪(51)Int.Cl.G06T7/269(2017.01)G06T3/40(2023.01)G06V20/40(2023.01)G06V10/764(2006.01)G06V10/82(2023.01)权利要求书8页说明书12页附图7页(54)发明名称一种全景视频两帧行人轨迹预测方法、装置及存储介质(57)摘要本发明涉及一种全景视频两帧行人轨迹预测方法、装置及存储介质，其中方法包括：获取全景视频，提取全景视频中行人的位置信息、速度信息、动作信息和光流信息，将行人划分为自由移动行人和社交移动行人；计算自由行人数据集与全体行人数据集；使用训练完成网络进行行人轨迹预测，其中自由行人预测网络是基于自由行人数据集来训练，未来社交池化网络和社交行人预测网络是基于全体行人数据集来训练。本发明提供一种全景视频行人轨迹预测方法，构建以行人历史位置信息、历史动作信息和历史光流信息为输入的行人轨迹预测网络模型，以达到更高精度的行人轨迹预测的目标。CN115760928ACN115760928A权利要求书1/8页1.一种全景视频两帧行人轨迹预测方法，其特征在于，所述方法包括以下步骤：S100、获取并拼接不同方向的视频，得到全景视频，提取全景视频中行人的位置信息、速度信息、动作信息和光流信息，将行人划分为自由移动行人和社交移动行人；S200、计算自由行人数据集与全体行人数据集，所述自由行人数据集包括所有自由移动行人的信息，所述全体行人数据集包括所有行人的信息，把所述自由行人数据集划分为自由行人训练集、自由行人验证集和自由行人测试集，把所述全体行人数据集划分为全体行人训练集、全体行人验证集和全体行人测试集；S300、使用训练完成的自由行人预测网络、未来社交池化网络、社交行人预测网络进行行人轨迹预测，其中所述自由行人预测网络是基于自由行人数据集来训练，所述未来社交池化网络和所述社交行人预测网络是基于所述全体行人数据集来训练，所述未来社交池化网络的输入数据为训练后的所述自由行人预测网络。2.根据权利要求1所述的全景视频两帧行人轨迹预测方法，其特征在于，步骤S100包括：S110、获取相对方向的两段视频，并对两段视频进行横向拼接，得到全景视频；S120、基于全景视频计算行人的历史位置信息行人Pedesi在t时刻的位置信息为其中，i表示当前第i个行人，与分别为行人Pedesi在像素坐标系下横坐标与纵坐标的位置，与分别为行人Pedesi在像素坐标系下检测框的长度与宽度；S130、基于全景视频计算行人的历史速度信息行人Pedesi在t时刻的速度信息为其中，Tobs为全景视频前后两帧的时间间隔；S140、基于全景视频计算行人的历史动作信息行人Pedesi在t时刻的动作信息为其中，为标准化后的行人18个关节的横坐标与纵坐标；S150、基于全景视频计算行人的历史光流信息行人Pedesi在t时刻的光流信息包括行人检测框内像素的光流的横轴分量与纵轴分量，调整行人检测框大小为10像素*10像素，表示为，S160、把行人标记不同的移动类型，包括自由移动行人和社交移动行人，所述自由移动行人为行人的移动全程未受他人影响，所述社交移动行人为行人的移动在某段时间内受到他人影响。3.根据权利要求1所述的全景视频两帧行人轨迹预测方法，其特征在于，步骤S200包括：S210、制作自由移动行人样本，以均匀时间间隔采样每个自由移动的行人轨迹，对于某个被采样的自由移动行人编号为Pedes1，观察帧的时间序列为：Tobslist＝[t0‑Tobs，t0]，其中，t0为预测开始时间，Tobs为观测的两帧时间间隔，2CN115760928A权利要求书2/8页标签帧的时间序列为：Tlabellist＝[t0+Tgap，t0+2*Tgap，…，t0+Tpred]，其中，Tpred为预测的最大时间，Tgap为每步预测的时间间隔，得到每个自由移动行人样本，所述每个自由移动行人样本的输入包括自由移动行人历史位置信息自由移动行人历史速度信息自由移动行人历史动作信息和自由移动行人历史光流信息所述每个自由移动行人样本的标签包括自由移