一种针对海上目标的云台摄像头跟踪方法.pdf

(19)国家知识产权局(12)发明专利申请(10)申请公布号CN115063452A(43)申请公布日2022.09.16(21)申请号202210666202.4(22)申请日2022.06.13(71)申请人中国船舶重工集团公司第七0七研究所九江分部地址332007江西省九江市濂溪区前进西路105号(72)发明人韦一孟凡彬张妙藏(74)专利代理机构北京慕达星云知识产权代理事务所(特殊普通合伙)11465专利代理师符继超(51)Int.Cl.G06T7/277(2017.01)G06V20/10(2022.01)权利要求书3页说明书7页附图2页(54)发明名称一种针对海上目标的云台摄像头跟踪方法(57)摘要本发明公开了一种针对海上目标的云台摄像头跟踪方法，包括以下步骤：S1.获取云台摄像头采集的视频流数据；S2.对视频流数据的视频图像帧进行目标检测，获得目标类别和检测框位置信息；S3.对检测到的目标与跟踪列表进行目标匹配和滤波跟踪，以平滑检测框位置和形状并获取稳定跟踪目标列表；S4.将稳定跟踪目标列表进行可视化显示，并把静止的海上目标位置信息存入数据库，用户从稳定跟踪目标列表或静止目标数据库中选择跟踪目标；S5.获取用户选择的跟踪目标，并控制云台摄像头对准目标进行跟踪；本发明有助于解决图像目标检测结果出现断续等不稳定现象的问题，增强目标检测算法稳定性，减少云台跟踪误差，提升人机交互效果。CN115063452ACN115063452A权利要求书1/3页1.一种针对海上目标的云台摄像头跟踪方法，其特征在于，包括以下步骤：S1.获取云台摄像头采集的视频流数据；S2.对所述视频流数据的视频图像帧进行目标检测，获得目标类别和位置信息；S3.根据所述目标类别和位置信息，对检测到的目标与跟踪列表进行目标匹配和滤波跟踪，获取稳定跟踪目标列表：计算检测到的目标与跟踪列表的匹配距离评分，设定阈值并根据匹配距离评分和阈值进行目标匹配，对匹配成功的目标进行滤波跟踪并获取稳定跟踪目标列表；S4.将所述稳定跟踪目标列表进行可视化显示，并把静止的海上目标位置信息存入数据库，用户从稳定跟踪目标列表或静止目标数据库中选择跟踪目标；S5.获取用户选择的跟踪目标，并控制云台摄像头对准目标进行跟踪。2.根据权利要求1所述的一种针对海上目标的云台摄像头跟踪方法，其特征在于，S3的具体内容包括：S3.1对当前帧检测到的图像目标b′i∈Δ，i＝1,2,...,nΛ与当前跟踪的目标列表b∈T,i＝1,2,...,nT用匈牙利算法进行匹配；对于当前帧检测到的第i个检测目标和第j个跟踪目标，使用匹配距离评分d(b′i,bj)作为匈牙利算法的匹配评分标准：d(b′i,bj)＝diou(b′i,bj)+dMahalanobis(b′i,bj)+dpixel(b′i,bj)式中，dIOU(b′i,bj)为IOU距离，dM(b′i,bj)为检测框状态变量之间的马氏距离，dpixel(b′i,bj)为检测框像素距离，匹配距离评分d(b′i,bj)越小，表明目标b′i,bj之间越近似。3.根据权利要求2所述的一种针对海上目标的云台摄像头跟踪方法，其特征在于，所述IOU距离dIOU(b′i,bj)具体为：式中，A和B分别为目标b′i,bj对应的图像检测框；所述马氏距离dM(b′i,bj)具体为：式中，权值矩阵Sj为以卡尔曼滤波器预测得到的在当前时刻观测空间的协方差矩阵，新检测框b′i的状态变量可表示为：x,y为检测框左上角的像素坐标，r为检测框的宽高比，h为检测框的高；所述检测框像素距离dpixel(b′i,bj)具体为：式中，p′,p分别为两个检测框中的像素灰度值。4.根据权利要求2所述的一种针对海上目标的云台摄像头跟踪方法，其特征在于，S3的具体内容还包括：S3.2根据实际情况设定匹配距离评分d(b′i,bj)的阈值，对当前帧的所有检测框集合Δ，与跟踪目标列表T进行匈牙利匹配，匹配完成后，设得到n对匹配目标(b1,b′1),(b2,b′2),...,(bn,b′n)，对于跟踪列表T内剩余的未成功匹配目标，其跟踪失败次数Nfailed＝2CN115063452A权利要求书2/3页Nfailed+1，根据实际情况设置跟踪失败次数的阈值，当Nfailed大于所述跟踪失败次数的阈值时，将其从跟踪列表T中删除，使跟踪列表T中只存储稳定跟踪的目标；S3.3以当前帧匹配成功的图像目标b1′,b2′,...,bn′作为观测，对图像目标进行卡尔曼滤波跟踪，以平滑检测框大小和位置。5.根据权利要求4所述的一种针对海上目标的云台摄像头跟踪方法，其特征在于，S3.3的具体内容包括：检测框的状态观测方程为：式中，检测框的状态变量x,y为检测框左上角的像素坐标，r为检测框的宽高比，h为检测框的高，则为对时间的导