目标跟踪方法及装置、电子设备、存储介质.pdf

(19)中华人民共和国国家知识产权局(12)发明专利申请(10)申请公布号CN113362371A(43)申请公布日2021.09.07(21)申请号202110543857.8(22)申请日2021.05.18(71)申请人北京迈格威科技有限公司地址100090北京市海淀区科学院南路2号融科资讯中心A座316-318(72)发明人何琦鲍一平(74)专利代理机构北京超凡宏宇专利代理事务所(特殊普通合伙)11463代理人安卫静(51)Int.Cl.G06T7/246(2017.01)G06T7/70(2017.01)G06T5/50(2006.01)G06N3/04(2006.01)G06N3/08(2006.01)权利要求书3页说明书13页附图6页(54)发明名称目标跟踪方法及装置、电子设备、存储介质(57)摘要本申请提供一种目标跟踪方法及装置、电子设备、存储介质，该方法包括：获取图像帧序列；通过计算所述图像帧序列的帧间差值，得到差分图像序列；将所述图像帧序列和差分图像序列作为已训练的目标检测网络的输入，得到所述目标检测网络输出的检测结果序列；根据所述检测结果序列进行目标跟踪。该方案可以提高目标跟踪的准确性。CN113362371ACN113362371A权利要求书1/3页1.一种目标跟踪方法，其特征在于，包括：获取图像帧序列；通过计算所述图像帧序列的帧间差值，得到差分图像序列；将所述图像帧序列和差分图像序列作为已训练的目标检测网络的输入，得到所述目标检测网络输出的检测结果序列；根据所述检测结果序列进行目标跟踪。2.根据权利要求1所述的方法，其特征在于，所述根据所述检测结果序列进行目标跟踪，包括：根据所述图像帧序列、差分图像序列以及检测结果序列，去除不属于目标对象的检测结果，得到目标位置序列；根据所述目标位置序列，得到目标运动轨迹。3.根据权利要求2所述的方法，其特征在于，所述检测结果序列包括运动对象位置序列和局部图像序列，所述根据所述图像帧序列、差分图像序列以及检测结果序列，去除不属于目标对象的检测结果，得到目标位置序列，包括：将所述局部图像序列作为已训练的特征提取网络的输入，获得所述特征提取网络输出的局部图像序列对应的图像特征序列；根据所述图像帧序列、差分图像序列、运动对象位置序列和图像特征序列，去除不属于目标对象的运动对象位置，得到目标位置序列。4.根据权利要求3所述的方法，其特征在于，所述根据所述图像帧序列、差分图像序列、运动对象位置序列和图像特征序列，去除不属于目标对象的运动对象位置，得到目标位置序列，包括：将所述图像帧序列和差分图像序列作为光流计算网络的输入，得到所述光流计算网络输出的相邻帧之间的光流信息偏移量；将所述相邻帧之间的光流信息偏移量叠加到前一帧的目标对象位置上，得到后一帧的目标对象预测位置；根据所述运动对象位置序列和图像特征序列，去除后一帧中图像特征和运动对象位置与所述目标对象的图像特征和目标对象预测位置之间的差异大于第一阈值的运动对象位置，得到后一帧的目标对象位置，每一帧的目标对象位置构成所述目标位置序列。5.根据权利要求3所述的方法，其特征在于，所述根据所述图像帧序列、差分图像序列、运动对象位置序列和图像特征序列，去除不属于目标对象的运动对象位置，得到目标位置序列，包括：将前一帧的目标对象位置和运动速度作为卡尔曼滤波模型的输入，获得所述卡尔曼滤波模型输出的后一帧的目标对象预测位置；计算后一帧的目标对象预测位置与后一帧图像的运动对象位置之间的交并比，移除后一帧中所述交并比小于第二阈值的运动对象位置；根据所述运动对象位置序列和图像特征序列，去除后一帧中图像特征和运动对象位置与所述目标对象的图像特征和目标对象预测位置之间的差异大于第三阈值的运动对象位置，得到后一帧的目标对象位置，每一帧的目标对象位置构成所述目标位置序列。6.根据权利要求4或5所述的方法，其特征在于，所述方法还包括：2CN113362371A权利要求书2/3页根据所述图像帧序列中每一帧图像的目标深度信息，计算得到目标平均深度；移除目标深度信息与所述目标平均深度的差异超过第四阈值的目标对象位置。7.根据权利要求4或5所述的方法，其特征在于，还包括：根据所述差分图像序列，生成连续的多帧目标分布热图；根据指定帧图像的目标对象位置，计算所述指定帧图像对应的目标分布热图中所述目标对象位置的加权平均值；将每一帧图像对应的目标分布热图中所述目标对象位置的加权平均值进行加权平均，得到热度响应均值；移除所述热度响应均值小于第五阈值的目标对象位置。8.根据权利要求1所述的方法，其特征在于，所述通过计算所述图像帧序列的帧间差值，得到差分图像序列，包括：针对所述图像帧序列中的每相邻两帧图像，计算所述相邻两帧图像之间每个像素点每个通道的像素差值，得到每相邻两帧图像对