一种基于视觉的智能网联公交场景下目标跟踪方法及系统.pdf

(19)中华人民共和国国家知识产权局(12)发明专利申请(10)申请公布号CN113724293A(43)申请公布日2021.11.30(21)申请号202110966187.0G06T7/73(2017.01)(22)申请日2021.08.23G06K9/46(2006.01)G06K9/62(2006.01)(71)申请人上海电科智能系统股份有限公司G06N3/04(2006.01)地址200063上海市普陀区武宁路505号53G06N3/08(2006.01)号楼7楼申请人上海智能新能源汽车科创功能平台有限公司(72)发明人张泽晨张培志张飞颜英王晓(74)专利代理机构上海科盛知识产权代理有限公司31225代理人赵志远(51)Int.Cl.G06T7/246(2017.01)G06T7/277(2017.01)权利要求书3页说明书9页附图2页(54)发明名称一种基于视觉的智能网联公交场景下目标跟踪方法及系统(57)摘要本发明涉及一种基于视觉的智能网联公交场景下目标跟踪方法及系统，其中目标跟踪方法包括：步骤1：获取智能网联公交场景下训练图像集合；步骤2：分别构建基于CenterNet的目标检测模型和基于DeepSORT的目标追踪模型；步骤3：使用训练图像集合对目标检测模型和目标追踪模型进行端到端训练；步骤4：获取智能网联公交场景下的实时图像，实现目标跟踪。与现有技术相比，本发明具有精度高、速度快等优点。CN113724293ACN113724293A权利要求书1/3页1.一种基于视觉的智能网联公交场景下目标跟踪方法，其特征在于，所述的智能网联公交车场景下目标跟踪方法包括：步骤1：获取智能网联公交场景下训练图像集合；步骤2：分别构建基于CenterNet的目标检测模型和基于DeepSORT的目标追踪模型；步骤3：使用训练图像集合对目标检测模型和目标追踪模型进行端到端训练；步骤4：获取智能网联公交场景下的实时图像，实现目标跟踪。2.根据权利要求1所述的一种基于视觉的智能网联公交场景下目标跟踪方法，其特征在于，所述的目标检测模型包括：主干特征提取网络，采用ResNet‑34为主干网络，并使用深层聚合算子DLA对ResNet‑34主干网络进行改进；主干特征提取网络的输入为图像，输出为四个高分辨率特征图，其中三个特征图输入物体检测分支，一个特征图输入ID嵌入分支；物体检测分支，使用HeatmapHead、BoxSizeHead和CenterOffsetHead三个并行回归头附加到主干特征提取网络用于分别估计热图Heatmap、边界框大小Boxsize和对象中心偏移Centeroffset；Re‑ID检测分支，用于生成可以区分不同对象的Re‑ID特征。3.根据权利要求2所述的一种基于视觉的智能网联公交场景下目标跟踪方法，其特征在于，所述的HeatmapHead损失函数具体为：对于图像中心的每个GT框计算物体中心为和然后在特征图上的位置由除以步长得到，即然后在位置(x,y)的热图响应计算为：其中，N表示图像中物体的数量，σc为标准差；HeatmapHead损失函数定义为具有focalloss的像素级逻辑回归：这里的是预测的heatmap特征图；M是heatmap的ground‑truth；α和β为参数。4.根据权利要求2所述的一种基于视觉的智能网联公交场景下目标跟踪方法，其特征在于，所述的BoxSizeHead和CenterOffsetHead的损失函数具体为：将BoxSizeHead和CenterOffsetHead的输出表示为和对于图像中的每一个GTbox，设置L1损失函数：2CN113724293A权利要求书2/3页其中，N为一幅图像中物体总数量；和分别为CenterOffsetHead预测特征图和BoxSizeHead预测特征图；ground‑truth特征图分别设置如下：其中，(x1,y1)为物体的左上角坐标；(x2,y2)为物体的右下角坐标；(cx,cy)为物体的中心坐标。5.根据权利要求2所述的一种基于视觉的智能网联公交场景下目标跟踪方法，其特征在于，所述的Re‑ID检测分支的损失函数具体为：其中，p(k)为第k个物体的预测类别，即ID编号的可能性分布；L(k)为第k个物体真实的onehot编码。6.根据权利要求1所述的一种基于视觉的智能网联公交场景下目标跟踪方法，其特征在于，所述的基于DeepSORT的目标追踪模型具体为：首先，根据目标检测模型检测到的Bbox数据生成当前帧检测框detections；其次，使用卡尔曼滤波预测前一帧中的跟踪框tracks在当前帧的状态；随后，计算跟踪框tracks和检测框detections的代价矩阵，根据代价矩阵进行匹配，获得当前帧的所有匹配对、未匹配的跟踪框tracks以及未匹配的det