一种基于动态语义特征的目标跟踪方法及系统.pdf

(19)中华人民共和国国家知识产权局(12)发明专利申请(10)申请公布号CN113643330A(43)申请公布日2021.11.12(21)申请号202111213534.9(22)申请日2021.10.19(71)申请人青岛根尖智能科技有限公司地址266300山东省青岛市胶州市经济技术开发区长江1号创业大厦1119室(72)发明人王海滨纪文峰(74)专利代理机构济南圣达知识产权代理有限公司37221代理人祖之强(51)Int.Cl.G06T7/246(2017.01)G06T7/215(2017.01)权利要求书2页说明书5页附图1页(54)发明名称一种基于动态语义特征的目标跟踪方法及系统(57)摘要本发明提供了一种基于动态语义特征的目标跟踪方法及系统，属于图像处理技术领域，所述方法包括以下过程：获取待处理的视频帧图像；对获取的视频图像进行实例分割，得到每帧图像的目标检测框和实例语义分割结果；对相邻帧图像的语义分割结果进行动态匹配，得到动态相似度；对上述相邻帧图像的目标检测框进行静态匹配，得到静态相似度；以动态相似度和静态相似度的加权和为总相似度，根据总相似度得得到目标跟踪结果；本发明利用时序语义的显著性，根据动态相似度和静态相似度的加权和得到相邻帧图像的总相似度，根据总相似度实现了更准确的目标匹配跟踪。CN113643330ACN113643330A权利要求书1/2页1.一种基于动态语义特征的目标跟踪方法，其特征在于：包括以下过程：获取待处理的视频帧图像；对获取的视频图像进行实例分割，得到每帧图像的目标检测框和实例语义分割结果；对相邻帧图像的语义分割结果进行动态匹配，得到动态相似度；对上述相邻帧图像的目标检测框进行静态匹配，得到静态相似度；以动态相似度和静态相似度的加权和为总相似度，根据总相似度得得到目标跟踪结果。2.如权利要求1所述的基于动态语义特征的目标跟踪方法，其特征在于：根据总相似度得得到目标跟踪结果，包括：根据总相似度，查找下一帧图像中与当前帧图像中每个目标实例对应的目标实例，得到目标跟踪结果。3.如权利要求1所述的目标跟踪方法，其特征在于：对相邻帧图像的语义分割结果进行动态匹配，得到动态相似度，包括：根据实例语义分割结果，得到两相邻帧图像的实例语义分割结果的动态差分，以动态差分的倒数为动态相似度。4.如权利要求3所述的目标跟踪方法，其特征在于：取两帧图像的所有像素匹配距离的中位数作为距离阈值，根据距离到相似度的映射关系以及距离阈值，得到相似度阈值，当动态相似度大于相似度阈值时，视为检测到相邻两帧之间的目标运动。5.如权利要求4所述的目标跟踪方法，其特征在于：相似度阈值为距离阈值的倒数。6.如权利要求1所述的目标跟踪方法，其特征在于：对上述相邻帧图像的目标检测框进行静态匹配，得到静态相似度，包括：根据实例语义分割结果对原始帧图像进行处理，得到各帧图像的实例图像；根据实例图像和预设表征学习网络，得到相邻帧图像的两实例图像对应的静态相似度。7.如权利要求6所述的基于动态语义特征的目标跟踪方法，其特征在于：根据实例语义分割结果对原始帧图像进行处理，包括：对各实例语义分割结果对应的原始图像帧中的每个行人实例进行裁切并缩放。8.如权利要求6所述的基于动态语义特征的目标跟踪方法，其特征在于：表征学习网络包括ResNet网络、分类子网络和验证子网络；ResNet网络根据每个实例图像生成一个词向量；分类子网络根据ResNet生成的词向量得到对应行人ID；验证子网络根据行人ID相同的两个词向量的距离输出静态相似度。9.如权利要求1所述的基于动态语义特征的目标跟踪方法，其特征在于：利用YOLACT对获取的视频图像进行实例分割。10.一种基于动态语义特征的目标跟踪系统，其特征在于：包括：2CN113643330A权利要求书2/2页图像获取模块，被配置为：获取待处理的视频帧图像；图像分割模块，被配置为：对获取的视频图像进行实例分割，得到每帧图像的目标检测框和实例语义分割结果；动态相似度计算模块，被配置为：对相邻帧图像的语义分割结果进行动态匹配，得到动态相似度；静态相似度计算模块，被配置为：对上述相邻帧图像的目标检测框进行静态匹配，得到静态相似度；目标跟踪模块，被配置为：以动态相似度和静态相似度的加权和为总相似度，根据总相似度得得到目标跟踪结果。3CN113643330A说明书1/5页一种基于动态语义特征的目标跟踪方法及系统技术领域[0001]本发明涉及图像处理技术领域，特别涉及一种基于动态语义特征的目标跟踪方法及系统。背景技术[0002]本部分的陈述仅仅是提供了与本发明相关的背景技术，并不必然构成现有技术。[0003]视觉目标跟踪是指对视频序列中的运动目标进行检测、提取、识别和跟踪，获得运动目标的运动参数，如位置、速度、加速度和运动