基于事件相机的目标检测与跟踪方法、系统和存储介质.pdf

(19)中华人民共和国国家知识产权局(12)发明专利申请(10)申请公布号CN113888607A(43)申请公布日2022.01.04(21)申请号202111024841.2(22)申请日2021.09.02(71)申请人中国电子科技南湖研究院地址314002浙江省嘉兴市南湖区七星街道灵湖南路东200米清风榻(72)发明人高爽徐庶刘庆杰(74)专利代理机构中国和平利用军工技术协会专利中心11215代理人刘光德(51)Int.Cl.G06T7/277(2017.01)G06T5/00(2006.01)G06T7/70(2017.01)G06K9/62(2006.01)权利要求书2页说明书6页附图3页(54)发明名称基于事件相机的目标检测与跟踪方法、系统和存储介质(57)摘要本发明提供了一种基于事件相机的目标检测与跟踪方法、系统和存储介质。该方法包括：读取DVS事件序列，进行背景降噪处理；设置时间窗；初始化卡尔曼滤波的参数；把时间窗内的DVS事件序列转为归一化平均时间面；在归一化平均时间面中，进行目标事件去噪；检测目标的位置，同时采用卡尔曼滤波预测目标位置，但初始位置由检测来决定；计算当前时刻检测到的目标位置与上一时刻目标位置的距离，根据距离信息平衡检测位置与卡尔曼滤波预测的位置，从而决定当前时刻目标的位置；进行轨迹平滑；移动到下一时间窗重复上述步骤，直至DVS事件序列结束。本发明具有低延迟、避免噪声干扰、避免检测位置不准确、防止目标框抖动的特点。CN113888607ACN113888607A权利要求书1/2页1.一种基于事件相机的目标检测与跟踪方法，其特征在于，包括：步骤1，读取DVS事件序列，进行背景降噪处理；设置时间窗；初始化卡尔曼滤波的参数；步骤2，把时间窗内的DVS事件序列转为归一化平均时间面；步骤3，在归一化平均时间面中，进行目标事件去噪；检测目标的位置，同时采用卡尔曼滤波预测目标位置，但初始位置由检测来决定；步骤4，计算当前时刻检测到的目标位置与上一时刻目标位置的距离，根据距离信息平衡检测位置与卡尔曼滤波预测的位置，从而决定当前时刻目标的位置；步骤5，进行轨迹平滑；移动到下一时间窗，重复步骤2到步骤5，直至DVS事件序列结束。2.根据权利要求1所述的方法，其特征在于，步骤1中，包括：步骤1a，规定一个时间间隔，判断每一个事件位置的8邻域区间在时间间隔内是否有事件，如果没有，认为是背景噪声，将其滤除；步骤1b，设置时间窗，初始化卡尔曼滤波参数如下；设置状态转移矩阵A＝[As,0；0,As]；设置预测噪声协方差矩阵Q＝[Qs,0；0,Qs]；设置观测矩阵H＝[Hs,0；0,Hs]；设置观测噪声协方差矩阵R；设置状态协方差矩阵P；T设置目标的运动状态为x＝[pcol,vcol,acol,prow,vrow,arow]，其中(prow,pcol)为目标的中心坐标，(vrow,vcol)为目标的速度，(arow,acol)为目标的加速度。3.根据权利要求1所述的方法，其特征在于，步骤2中，包括：步骤2a，求平均时间面；时间窗内位置(i,j)处事件的时间信息为t，累计事件数为Ii,j。则平均时间面为步骤2b，计算归一化平均时间面；定义为其中(i,j)∈T表示在平均时间面上的事件位置。4.根据权利要求1所述的方法，其特征在于，步骤3中，包括：步骤3a，目标检测；设定一个阈值λ用于滤除噪声，目标为O＝{(i,j)|Ni,j>λ}；k时刻的目标检测位置为zdk＝mean(O)，其中mean为均值运算；步骤3b，目标跟踪；预测k时刻的状态其中为k‑1时刻状态的实际值，表示k时刻的预测值；预测k时刻的状态协方差矩阵其中Pk‑1是k‑1时刻的状态协方差矩阵。5.根据权利要求4所述的方法，其特征在于，步骤3a中，λ可取0.2,为了滤除噪声，可去除目标O中较小的20％部分的值和较大的20％部分的值。6.根据权利要求4所述的方法，其特征在于，步骤4中，包括：步骤4a，根据步骤3a中得到的目标检测位置zdk，计算当前k时刻位置与k‑1时刻位置的欧式距离定义阈值thres，当d1≤thres时认为检测的目标位置2CN113888607A权利要求书2/2页正确，用来更新卡尔曼滤波的参数如下：计算k时刻的卡尔曼增益更新k时刻的状态更新k时刻的状态协方差矩阵当d1>thres时，计算当前k时刻卡尔曼滤波的预测位置步骤4b：计算当前k时刻卡尔曼滤波预测的目标位置与k‑1时刻目标位置的欧式距离步骤4c：统计卡尔曼滤波预测位置所在的目标框与检测位置所在的目标框内事件的个数，取事件个数较多者的中心点作为当前的目标位置zk。7.根据权利要求6所述的方法，其特征在于，步骤5中，包括：如果步骤4b中d2>thres，则当前k时刻的目标位置zk＝ω1·zk+ω2·z