基于合成数据生成和协同优化的域适应行人重识别方法.pdf

(19)中华人民共和国国家知识产权局(12)发明专利申请(10)申请公布号CN113688769A(43)申请公布日2021.11.23(21)申请号202111019325.0(22)申请日2021.09.01(71)申请人西北工业大学地址710072陕西省西安市友谊西路127号(72)发明人王琦白思开李学龙(74)专利代理机构西北工业大学专利中心61204代理人常威威(51)Int.Cl.G06K9/00(2006.01)G06K9/34(2006.01)G06K9/62(2006.01)G06N3/04(2006.01)G06N3/00(2006.01)权利要求书1页说明书5页附图1页(54)发明名称基于合成数据生成和协同优化的域适应行人重识别方法(57)摘要本发明提供了一种基于合成数据生成和协同优化的域适应行人重识别方法。首先，利用大型电子游戏侠盗猎车手GTAV构建一个合成数据采集器，并利用MaskRCNN和哈希值构建标注信息，得到最大规模的合成行人重识别数据集；然后，利用合成数据集进行特征编码器预训练；接着，构建多域协同优化网络模型，并利用已有数据集对模型进行训练；最后，利用训练好的网络模型实现数据集的行人识别检测。本发明能够显著降低采集和标注的成本，具有较强的泛化能力，能够显著提升无监督跨域行人重识别任务的性能。CN113688769ACN113688769A权利要求书1/1页1.一种基于合成数据生成和协同优化的域适应行人重识别方法，其特征在于步骤如下：步骤1，数据采集和标注：在252公里的GTAV虚拟世界中选择包括商场、街道、山区和沙漠地带在内的26个不同环境的场景，在每一个场景设置12个不同高度和旋转角度的视角，并随机选定天气状况和时间，让游戏中的2369个人中分别在每一个选择的场景中沿数据采集者预先指定的方向行走并做出随机动作，在每一个场景从设置的12个视角采集人的图像，得到游戏合成的行人图像数据集，再利用MaskRCNN算法对数据集中的每一幅图像进行分割处理，得到去除冗余背景信息后的图像，每幅图像中的人的身份、场景和视角的哈希值，构成图像的标注信息；步骤2，基于合成数据的模型预训练：将步骤1得到的游戏合成行人图像数据集输入到生成对抗网络eSPGAN，输出得到与真实世界采集的数据具有相似图像风格的图像数据集；然后，将得到的合成数据与原行人图像数据输入到特征编码器进行预训练，得到预训练后的特征编码器；所述的特征编码器为iBN‑ResNet‑50网络；步骤3，多域协同训练：以Market1501数据集作为源域数据，以DukeMTMC‑ReID数据集作为目标域数据，对多域协同优化网络模型进行训练，训练次数设置为60，其模型参数按照以下公式进行更新，得到训练好的模型：Mk(θ)＝αMk‑1(θ)+(1‑α)θk(1)其中，Mk(θ)表示第k次迭代训练得到的更新的编码器参数，Mk‑1(θ)表示第k‑1次迭代训练得到的更新的编码器参数，θk是第k次迭代训练时编码器反向传播更新的参数；α是缓步更新系数，可取值范围为(0,1]；k表示迭代训练次数；所述的多域协同优化网络模型包括风格相似混合学习模块和关系不变混合学习模块，其中，风格相似混合学习模块包括转化器、特征编码器、标签生成器，源域图像数据输入到转化器得到域转化数据，域转化数据和目标域数据再同时输入到预训练后的特征编码器，得到风格相似的多域混合特征，得到的特征经标签生成器，得到不同簇的伪标签；关系不变混合学习模块包括特征编码器、标签生成器，将源域数据和目标域数据同时输入到特征编码器，再经标签生成器，得到相应的伪标签；所述的转化器采用生成对抗网络eSPGAN，所述的特征编码器采用步骤2得到的预训练后的特征编码器，所述的标签生成器采用DBSCAN聚类算法对输入数据进行聚类处理，以标签生成器得到的伪标签作为分类目标；步骤4，行人识别检测：将DukeMTMC‑ReID数据集输入到步骤3训练好的多域协同优化模型，对模型两个模块中的特征编码器的输出特征按下式进行加权平均融合，得到最终的行人识别检测结果：其中，y0表示最终的行人识别检测结果，λ表示两个模块之间的平衡系数，取值为0.5，C1t和C2分别表示风格相似混合学习模块和关系不变混合学习模块的特征分类器；f1和分别表示风格相似混合学习模块和关系不变混合学习模块的特征编码器的输出特征。2CN113688769A说明书1/5页基于合成数据生成和协同优化的域适应行人重识别方法技术领域[0001]本发明属计算机视觉、图像检索技术领域，具体涉及一种基于合成数据生成和协同优化的域适应行人重识别方法。背景技术[0002]作为一个经典的图像检索和是计算机视觉任务，行人重识别致力于在给定一个监控行人图像后，从其他多个位置的摄像头采集的图像或者视频序