一种改进的高精度端到端车辆多目标跟踪方法.pdf

(19)中华人民共和国国家知识产权局(12)发明专利申请(10)申请公布号CN113963168A(43)申请公布日2022.01.21(21)申请号202111349929.1G06K9/62(2022.01)(22)申请日2021.11.15G06N3/04(2006.01)G06N3/08(2006.01)(71)申请人北京联合大学G06T7/246(2017.01)地址100101北京市朝阳区北四环东路97号(72)发明人鲍泓徐歆恺宁晴付一豪王晨曦潘卫国徐成(74)专利代理机构北京东方盛凡知识产权代理事务所(普通合伙)11562代理人李娜(51)Int.Cl.G06V10/40(2022.01)G06V10/82(2022.01)G06V10/764(2022.01)G06V20/58(2022.01)权利要求书2页说明书6页附图2页(54)发明名称一种改进的高精度端到端车辆多目标跟踪方法(57)摘要本发明涉及一种改进的高精度端到端车辆多目标跟踪方法，包括：基于改进的FasterR‑CNN模型对车辆进行检测，得到目标检测数据集；将所述目标检测数据集输入到区域生成网络模块中进行相似度学习，得到待匹配的候选目标数据集，最后通过最近邻匹配方法完成所述待匹配的候选目标数据集的匹配。本发明改进了Quasi‑Dense跟踪方法，结合了注意力机制、自适应等思想，提升模型对于尺度变化较大的目标检测和跟踪的能力，在网络结构中使用空间注意力机制，同时在设定锚框时使用启发式方法，改进模型的跟踪效果，有效的降低了跟踪时ID切换的次数。CN113963168ACN113963168A权利要求书1/2页1.一种改进的高精度端到端车辆多目标跟踪方法，其特征在于，包括：基于改进的FasterR‑CNN模型对车辆进行检测，得到目标检测数据集；将所述目标检测数据集输入到区域生成网络模块中进行相似度学习，得到待匹配的候选目标数据集，最后通过最近邻匹配方法完成所述待匹配的候选目标数据集的匹配。2.根据权利要求1所述的改进的高精度端到端车辆多目标跟踪方法，其特征在于，在所述改进的FasterR‑CNN模型中，骨干网络采用resnet50网络结构，用于提取输入图像的卷积特征，得到特征图。3.根据权利要求2所述的改进的高精度端到端车辆多目标跟踪方法，其特征在于，对所述resnet50网络结构中的可变卷积与仅使用键值内容特征的Transformer组合模块进行整合，并应用在所述骨干网络中conv4和conv5矩阵卷积运算中。4.根据权利要求3所述的改进的高精度端到端车辆多目标跟踪方法，其特征在于，对所述可变卷积与仅使用键值内容特征的Transformer组合模块进行整合的过程包括：以Quasi‑Dense作为基线，在所述骨干网络中加入空间注意力机制，基于所述空间注意力机制，计算所述可变卷积和Transformer组合模块的多头注意力特征，在所述可变卷积中调整元素的采样位置，得到每个查询键值对的注意力权重。5.根据权利要求4所述的改进的高精度端到端车辆多目标跟踪方法，其特征在于，所述多头注意力特征的表达式为：其中，待查元素的索引和内容分别为q和zq，键值元素的索引和内容分别为k和xk，m索引注意力头，待查元素相关的键值区域为Ωq，第m个注意力的权重为Am(q,k,zq,xk)，待学习的权重为Wm和Wm'，M表示注意力头数量，取8。6.根据权利要求5所述的改进的高精度端到端车辆多目标跟踪方法，其特征在于，所述Transformer组合模块将所述多头注意力特征拆分为四个不同的注意力因素，基于所述四个不同的注意力因素的和，计算所述每个查询键值对的注意力权重，其表达式为：其中，待查元素的索引和内容分别为q和zq，键值元素的索引和内容分别为k和xk，m为索引注意力头，第m个Transformer注意力的权重用表示，注意力因素用εj表示，在注意力模块中引入了手动开关，来激活或者关闭四个不同注意力因素的某一项，用来表示，的取值范围为{0,1}。7.根据权利要求1所述的改进的高精度端到端车辆多目标跟踪方法，其特征在于，将所述目标检测数据集输入到区域生成网络模块中进行相似度学习的过程为：基于启发式方法在所述区域生成网络模块中设定锚框，得到带有锚框的目标检测数据集，对所述带有锚框的目标检测数据集进行训练，得到关键帧图像和参考帧图像，对所述关2CN113963168A权利要求书2/2页键帧图像和所述参考帧图像中的目标进行相似度学习，得到所述待匹配的候选目标数据集。8.根据权利要求7所述的改进的高精度端到端车辆多目标跟踪方法，其特征在于，在所述区域生成网络模块中设定锚框的方法包括：用四维向量(x,y,w,h)表示目标的位置，空间坐标中心点用(x,y)表示，(w,h)分别表示目标的宽度和高度，