基于多模态的移动目标实时跟踪定位系统和方法.pdf

(19)中华人民共和国国家知识产权局(12)发明专利申请(10)申请公布号CN113888581A(43)申请公布日2022.01.04(21)申请号202111193519.2(22)申请日2021.10.13(71)申请人根尖体育科技（北京）有限公司地址100081北京市海淀区中关村大街22号五层A座529(72)发明人王海滨纪文峰(74)专利代理机构济南圣达知识产权代理有限公司37221代理人李圣梅(51)Int.Cl.G06T7/20(2017.01)G06T7/70(2017.01)G06K9/62(2006.01)G06K9/00(2006.01)G01P15/00(2006.01)权利要求书2页说明书6页附图2页(54)发明名称基于多模态的移动目标实时跟踪定位系统和方法(57)摘要本发明提出了基于多模态的移动目标实时跟踪定位方法及系统，包括：获得移动目标多种模态信息，包括在运动场景中采集的移动目标图像信息，以及利用移动目标携带的采集设备采集的移动目标不同方向的加速度；基于移动目标图像信息获得带有检测框的移动目标的图像；基于移动目标多种模态信息得到所述移动目标的状态量；基于带有检测框的移动目标的图像及移动目标的状态量对移动目标位置跟踪及运动位置预测。本发明结合软件硬件多模态共同作用方式，进行球员跟踪与定位，能够减小误差，实现更精确更稳定效果。CN113888581ACN113888581A权利要求书1/2页1.基于多模态的移动目标实时跟踪定位方法，其特征是，包括：获得移动目标多种模态信息，包括在运动场景中采集的移动目标图像信息，以及利用移动目标携带的采集设备采集的移动目标不同方向的加速度；基于移动目标图像信息获得带有检测框的移动目标的图像；关联移动目标多种模态信息得到所述移动目标的状态量；基于带有检测框的移动目标的图像及移动目标的状态量对移动目标位置跟踪及运动位置预测。2.如权利要求1所述的基于多模态的移动目标实时跟踪定位方法，其特征是，利用移动目标携带的采集设备采集的移动目标不同方向的加速度包括沿x轴方向的加速度以及沿y轴方向的加速度。3.如权利要求1所述的基于多模态的移动目标实时跟踪定位方法，其特征是，基于移动目标图像信息获得带有检测框的移动目标的图像时，包括：对图像预处理调整像素大小，通过行人检测算法产生众多候选样本，特征提取，通过训练一个分类器去区分目标与背景，选择置信度最高的候选样本作为预测结果，输出检测框。4.如权利要求3所述的基于多模态的移动目标实时跟踪定位方法，其特征是，所述检测框为包含移动目标的矩形区域，基于检测框得到移动目标相对位置坐标。5.如权利要求1所述的基于多模态的移动目标实时跟踪定位方法，其特征是，所述基于移动目标多种模态信息得到所述移动目标的状态量，所述状态量包括：移动目标相对位置坐标；移动目标沿x轴，y轴方向上的加速度；基于移动目标t‑1时刻到t时刻运动位置坐标变化量及运动时间变化量计算的t时刻运动速度。6.如权利要求5所述的基于多模态的移动目标实时跟踪定位方法，其特征是，还包括：对状态量进行处理，作为目标跟踪的输入。7.如权利要求1所述的基于多模态的移动目标实时跟踪定位方法，其特征是，对移动目标进行检测目标跟踪，具体为：候选网格通过循环矩阵得到所有采样样本，其中目标为正样本，背景为负样本，以正样本中心坐标位置作为初始跟踪位置；提取多通道特征；训练判别分类器，取响应值最大的正样本作为该目标跟踪位置的估计值。8.如权利要求1所述的基于多模态的移动目标实时跟踪定位方法，其特征是，对移动目标运动进行预测，在跟踪移动目标过程中遇到跟踪对象被遮挡极端情况时，通过不断更新移动目标的目标状态量，进而更新定位信息，传输的加速度信号；再根据变化时间以及此时球员运动速度预测下一时刻球员运动速度；根据得到的速度以及加速度的方向，预测该段时间内变化的位移，从而预测下一时刻移动目标运动位置坐标。9.基于多模态的移动目标实时跟踪定位系统，其特征是，包括：视觉信息采集模块，用于在运动场景中采集的移动目标图像信息；加速度信息采集模块，采集移动目标不同方向的加速度；2CN113888581A权利要求书2/2页数据通讯模块，将采集的移动目标图像信息及加速度信息实时传输至数据处理设备；数据处理设备，基于接收的数据对移动目标进行实时跟踪及预测。10.如权利要求9所述的基于多模态的移动目标实时跟踪定位系统，其特征是，所述数据处理设备包括：目标检测模块，经过目标检测算法计算求出移动目标相对位置坐标；状态量计算模块，对数据进行计算，得到状态量：移动目标位置坐标、运动加速度以及运动速度，为目标跟踪模块提供输入；目标跟踪模块，通过目标跟踪方法对移动目标进行实时跟踪；信号预测模块，移动目标位置坐标、运动加速度以及运动速度，预测移动目标