一种基于动态轨迹流的场景流数字孪生方法及系统.pdf

(19)国家知识产权局(12)发明专利申请(10)申请公布号CN114970321A(43)申请公布日2022.08.30(21)申请号202210461605.5G06T17/00(2006.01)(22)申请日2022.04.28G06Q10/04(2012.01)G06Q50/30(2012.01)(71)申请人长安大学G06N3/04(2006.01)地址710064陕西省西安市雁塔区南二环G06N3/08(2006.01)路中段G06F111/04(2020.01)(72)发明人刘占文赵祥模樊星李超房颜明曾高文范颂华范锦程娟茹靳引利郑硕张丽彤殷斐然张巍蓝(74)专利代理机构西安通大专利代理有限责任公司61200专利代理师张宇鸽(51)Int.Cl.G06F30/27(2020.01)G06F30/18(2020.01)权利要求书4页说明书10页附图3页(54)发明名称一种基于动态轨迹流的场景流数字孪生方法及系统(57)摘要本发明公开了一种基于动态轨迹流的场景流数字孪生方法及系统，首先提出一种检测跟踪一体化多模态融合感知增强网络，在大幅度提高网络处理速度的同时，实现目标语义轨迹的精准提取与辨识；并提出一种结合道路布局与交通力耦合关系的目标轨迹预测方法，建模场景中语义的时序演变规律，实现交通运行环境中的目标轨迹预测；基于轨迹提取和语义辨识以及预测的运动轨迹，对中观层面交通态势的时序演变规律建模，获取基于真实目标动态轨迹流的场景流数字孪生。本发明能够有效实现目标语义轨迹的精准提取与辨识，同时可视化场景流数字孪生，为精准化交通管控服务提供决策支持。CN114970321ACN114970321A权利要求书1/4页1.一种基于动态轨迹流的场景流数字孪生方法，其特征在于，包括：构建检测跟踪一体化多模态融合感知增强网络，对目标语义轨迹进行提取与辨识；对道路交通语义进行提取得到与真实交通场景具有映射关系的高度参数化的虚拟道路布局顶视图；基于虚拟道路布局顶视图，获取道路布局交通语义网格编码矢量；基于交通场景中的其他目标对某一目标产生的影响，构建目标耦合关系模型；基于目标耦合关系模型与真实道路布局构建交通力约束模型；基于交通力约束模型和道路布局交通语义网格编码矢量，建立基于交通力耦合关系约束的长短时记忆轨迹预测网络；基于交通力耦合关系约束的长短时记忆轨迹预测网络，对目标的运动轨迹进行预测，得到预测的运动轨迹；基于轨迹提取和语义辨识以及预测的运动轨迹，对中观层面交通态势的时序演变规律建模，获取基于真实目标动态轨迹流的场景流数字孪生。2.根据权利要求1所述的基于动态轨迹流的场景流数字孪生方法，其特征在于，所述构建检测跟踪一体化多模态融合感知增强网络，对目标语义轨迹进行提取与辨识，具体为：所述检测跟踪一体化多模态融合感知增强网络包括多模态融合感知增强模块和检测跟踪一体化网络；多模态融合感知增强模块包括分辨率注意力增强模块和特征融合增强模型；所述分辨率注意力增强模块用于学习不同模态信息的不变特征表达；所述特征融合增强模型通过定义特征关联张量池，将各个模态卷积输出张量汇聚于张量池进行特征融合，输出融合后的特征作为主网络的输入；所述检测跟踪一体化网络包括主网络与三个子网络；所述主网络为3D参数共享卷积主网络，3D参数共享卷积主网络作为特征提取器，提取出不同的特征分别送到三个子网络中；所述三个子网络分别为运动推理子网、驾驶行为辨识子网和遮挡识别子网，所述运动推理子网用于对物体轨迹进行跟踪；所述驾驶行为辨识子网用于对驾驶行为的辨识；所述遮挡识别子网用于对目标遮挡部位进行识别。3.根据权利要求1所述的基于动态轨迹流的场景流数字孪生方法，其特征在于，所述对道路交通语义进行提取得到与真实交通场景具有映射关系的高度参数化的虚拟道路布局顶视图，具体为：基于交通场景中道路拓扑结构与交通参与目标运行轨迹的耦合关系，实现道路布局交通语义高度参数化；构建真实场景参数化的虚拟道路布局顶视图提取级联网络，基于道路布局交通语义高度参数化，通过虚实结合混合训练参数化的虚拟道路布局顶视图提取级联网络；基于真实交通场景图像与训练后的虚拟道路布局顶视图提取级联网络的像素空间映射关系，构建道路布局虚实映射，获取与真实交通场景具有映射关系的高度参数化的虚拟道路布局顶视图。4.根据权利要求3所述的基于动态轨迹流的场景流数字孪生方法，其特征在于，所述基于交通场景中道路拓扑结构与交通参与目标运行轨迹的耦合关系，实现道路布局交通语义高度参数化，具体为：2CN114970321A权利要求书2/4页根据交通场景内主道始终点位置以及辅道距离、线形和位置道路交叉关系的拓扑属性，车道的数量、宽度与是否单向通行的道路布局属性，车道限速值和车道线形状的交通标志属性及人行横道和步行道的宽度约束行人行为的行人区域