一种基于视觉与时空融合估计的跨域行人重识别方法.pdf

(19)国家知识产权局(12)发明专利申请(10)申请公布号CN115953644A(43)申请公布日2023.04.11(21)申请号202211616968.8G06V10/762(2022.01)(22)申请日2022.12.15G06V10/82(2022.01)G06V40/10(2022.01)(71)申请人复旦大学G06T7/246(2017.01)地址200433上海市杨浦区邯郸路220号G06N3/0464(2023.01)申请人珠海复旦创新研究院G06N3/08(2023.01)(72)发明人李新龙冯辉胡波(74)专利代理机构上海科盛知识产权代理有限公司31225专利代理师赵志远(51)Int.Cl.G06V10/774(2022.01)G06V10/764(2022.01)G06V10/74(2022.01)G06V10/40(2022.01)G06V10/80(2022.01)权利要求书2页说明书6页附图4页(54)发明名称一种基于视觉与时空融合估计的跨域行人重识别方法(57)摘要本发明涉及一种基于视觉与时空融合估计的跨域行人重识别方法，该方法包括：S1、源域中训练初始视觉分类器；S2、提取目标域中无标签行人图像视觉特征，计算特征相似度，并保存时空信息；S3、构建Weibull分布方程估计目标域时空模型；S4、将源域视觉分类器与目标域时空模型进行融合估计得到联合评分并排序；S5、根据排序结果选取难样本挖掘三元组更新视觉分类器模及时空融合模型；S6、根据相似度联合评分对跨摄像头下行人编号聚类重新分配编号并显示可视化结果。与现有技术相比，本发明解决了目标域为开放集时很难标注数据的问题，克服了跨域场景下纯视觉模型识别准确率过低的问题，更好地实现了非重叠视野下跨摄像头持续跟踪行人目标的难题。CN115953644ACN115953644A权利要求书1/2页1.一种基于视觉与时空融合估计的跨域行人重识别方法，其特征在于，该方法包括以下步骤：步骤S1、采用源域中带行人标签的行人重识别数据集，训练初始视觉分类器；步骤S2、采用训练好的视觉分类器对目标域中的无标签行人图像对进行视觉特征提取、特征相似度计算并记录时空信息，同时对每对摄像头下行人特征相似度排序，将排序前K的行人图像标记为同一人并获取对应摄像头下行人转移时间差；步骤S3、利用行人转移时间差和摄像头间距离，构建每对摄像头间Weibull分布方程得到目标时空模型以估计真实转移分布；步骤S4、将视觉分类器与目标域时空模型进行融合估计，获取融合后模型在每对摄像头下行人图像对之间的相似度联合评分并排序；步骤S5、根据排序结果利用难样本挖掘三元组损失选取三元组图像更新视觉分类模型从而修正转移时间差序列更新时空融合模型，当更新次数达到阈值时结束更新；步骤S6、根据相似度联合评分对每对摄像头下出现的行人编号聚类并重新分配行人编号，最终显示跨摄像头行人重识别可视化结果。2.根据权利要求1所述的一种基于视觉与时空融合估计的跨域行人重识别方法，其特征在于，所述步骤S1包括以下子步骤：步骤S11、划分并清洗源域数据集；其中，所述源域数据集指在带有行人标签的行人重识别公开数据集；步骤S12、将源域数据集分为训练图像集和测试图像集，所述行人标签以字符串类型在图像的命名中保存，将不同数据集图像像素大小统一尺寸；步骤S13、采用训练图像集对视觉分类器进行训练。3.根据权利要求2所述的一种基于视觉与时空融合估计的跨域行人重识别方法，其特征在于，所述视觉分类器为孪生网络，通过共享特征的卷积神经网络CNN提取两张图像的特征，并用余弦距离计算特征向量相似度。4.根据权利要求1所述的一种基于视觉与时空融合估计的跨域行人重识别方法，其特征在于，所述步骤S2中的无标签行人图像的获取过程具体为：采用目标检测模型对每个摄像头读取的视频流中每帧图像进行行人检测；采用目标跟踪模型对目标检测模型检测到的行人进行跟踪并截取得到无标签行人图像。5.根据权利要求4所述的一种基于视觉与时空融合估计的跨域行人重识别方法，其特征在于，所述目标检测模型为Yolov5模型。6.根据权利要求4所述的一种基于视觉与时空融合估计的跨域行人重识别方法，其特征在于，所述目标跟踪模型为DeepSort模型。7.根据权利要求1所述的一种基于视觉与时空融合估计的跨域行人重识别方法，其特征在于，所述步骤S3中的Weibull分布方程是基于假设给定目标域行人最大平均行走速度的条件下在一对摄像头一条通路上的对应行人转移时间分布，其方程主要由一对摄像头间中心欧式距离、行人最大平均行走速度、步骤S2中由视觉分类器在目标域得到的对应摄像头下行人转移时间差值决定。8.根据权利要求1所述的一种基于视觉与时空融合估计的跨域行人重识别方法，其特征在于，所述步骤S4