基于多目标行人场景的行人跟踪方法、装置、设备及介质.pdf

(19)中华人民共和国国家知识产权局(12)发明专利申请(10)申请公布号CN114155284A(43)申请公布日2022.03.08(21)申请号202111537330.0G06V10/50(2022.01)(22)申请日2021.12.15(71)申请人天翼物联科技有限公司地址210000江苏省南京市秦淮区中山南路501号1101室(72)发明人曹阳杨(74)专利代理机构深圳市精英专利事务所44242代理人丁宇龙(51)Int.Cl.G06T7/277(2017.01)G06T7/73(2017.01)G06V10/82(2022.01)G06T3/40(2006.01)G06V10/80(2022.01)权利要求书2页说明书10页附图4页(54)发明名称基于多目标行人场景的行人跟踪方法、装置、设备及介质(57)摘要本申请涉及人工智能技术领域，揭露一种基于多目标行人场景的行人跟踪方法、装置、设备及介质，其中方法包括获取多个摄像头拍摄的视频，并逐帧提取多个视频中的图像，以及将图像进行拼接，得到目标图像；通过预先训练的检测模型对目标图像进行行人检测，得到行人检测框；根据预设算法对行人检测框进行跟踪，并采用预设的预测方式，预测行人检测框中上一帧行人在当前帧的位置，得到行人预测框；将行人检测框与行人预测框进行多特征融合的匹配，得到目标匹配结果，并基于目标匹配结果，更新行人预测框对应的跟踪器，得到行人跟踪结果。本申请将行人检测框与行人预测框进多特征的匹配，提高了匹配精度，从而提高多目标场景的行人跟踪准确度。CN114155284ACN114155284A权利要求书1/2页1.一种基于多目标行人场景的行人跟踪方法，其特征在于，包括：获取多个摄像头拍摄的视频，并逐帧提取多个所述视频中的图像，得到每个所述视频对应的图像，以及按照时间信息，将多个所述视频对应的图像进行逐帧拼接，得到目标图像；通过预先训练的检测模型对所述目标图像进行行人检测，得到行人检测框；根据预设算法对所述行人检测框进行跟踪，并采用预设的预测方式，预测所述行人检测框中上一帧行人在当前帧的位置，得到行人预测框；将所述行人检测框与所述行人预测框进行多特征融合的匹配，得到目标匹配结果，其中，所述多特征融合的匹配包括级联匹配、方向梯度直方图HOG匹配以及重叠度IOU匹配；基于所述目标匹配结果，更新行人预测框对应的跟踪器，得到行人跟踪结果。2.根据权利要求1所述的基于多目标行人场景的行人跟踪方法，其特征在于，所述获取多个摄像头拍摄的视频，并逐帧提取多个所述视频中的图像，得到每个所述视频对应的图像，以及按照时间信息，将多个所述视频对应的图像进行逐帧拼接，得到目标图像，包括：获取多个所述摄像头拍摄的视频，并按照逐帧提取的方式，提取多个所述视频在相同时刻的图像，得到每个所述视频对应的图像，并采用ORB特征提取算法提取所述图像的图像特征点；统计所述图像特征点的汉明距离，并基于预设的汉明距离，通过模式匹配器将所述图像特征点进行匹配，得到粗匹配结果，其中，所述粗匹配结果中包括图像匹配点对；在所述粗匹配结果中，将所述图像匹配点对进行提纯处理，得到提纯后的图像匹配点对，并基于所述提纯后的图像匹配点对，将所述图像进行融合，得到所述目标图像。3.根据权利要求2所述的基于多目标行人场景的行人跟踪方法，其特征在于，所述在所述粗匹配结果中，将所述图像匹配点对进行提纯处理，得到提纯后的图像匹配点对，并基于所述提纯后的图像匹配点对，将所述图像进行融合，得到所述目标图像，包括：在所述粗匹配结果中，采用渐进一致采样的方式，对所述图像匹配点对进行提纯处理，得到提纯后的图像匹配点对，并将所述提纯后的图像匹配点对作为目标图像匹配点对；通过求解矩阵变换的方式，将所述目标图像匹配点对进行逐帧拼接，以使得所述图像进行融合，得到所述目标图像。4.根据权利要求1所述的基于多目标行人场景的行人跟踪方法，其特征在于，所述通过预先训练的检测模型对所述目标图像进行行人检测，得到行人检测框之前，所述方法还包括：获取COCO图像数据集，并通过所述COCO图像数据集对检测模型进行预训练，得到预训练后的检测模型；获取行人检测数据集，并将所述行人检测数据集转换为所述COCO图像数据集对应格式，得到初始训练数据；对所述初始训练数据进行预处理，得到目标训练数据；通过所述目标训练数据对所述预训练后的检测模型进行训练，得到所述预先训练的检测模型。5.根据权利要求1所述的基于多目标行人场景的行人跟踪方法，其特征在于，所述将所述行人检测框与所述行人预测框进行多特征融合的匹配，得到目标匹配结果，包括：2CN114155284A权利要求书2/2页将所述行人检测框与所述行人预测框进行所述级联匹配，得到级联匹配结果；将所述级联匹配中未成功匹配的行人检测框与行人预测框