基于姿态指导行人图像生成的孪生生成式对抗网络的行人重识别方法.pdf

(19)中华人民共和国国家知识产权局(12)发明专利申请(10)申请公布号CN110427813A(43)申请公布日2019.11.08(21)申请号201910549345.5G06T9/00(2006.01)(22)申请日2019.06.24(71)申请人中国矿业大学地址221116江苏省徐州市大学路1号(72)发明人夏士雄陈莹赵佳琦周勇牛强姚睿陈朋朋杜文亮朱东郡(74)专利代理机构南京经纬专利商标代理有限公司32200代理人王美章(51)Int.Cl.G06K9/00(2006.01)G06K9/62(2006.01)G06N3/04(2006.01)G06N3/08(2006.01)权利要求书3页说明书7页附图3页(54)发明名称基于姿态指导行人图像生成的孪生生成式对抗网络的行人重识别方法(57)摘要本发明公开了一种基于姿态指导行人图像生成的孪生生成式对抗网络的行人重识别方法。其实现方案是：根据行人图像数据集，对行人图像进行目标检测获取训练样本；构建基于多样性样本生成的孪生生成式对抗网络模型，该模型对目标检测后输入的两组行人图像的姿态属性信息互换，实现多样性样本的生成；构建基于保持身份特征的孪生生成式对抗网络模型，该模型利用身份判别器保留生成行人图像的身份信息，从而提升行人重识别对生成行人图像身份的鲁棒性；针对生成式对抗网络优化困难的问题，构建基于多目标优化的孪生生成式对抗网络参数学习方法；为了验证提出的行人重识别方法的有效性，对生成行人图像构成的数据集进行行人重识别方法验证。CN110427813ACN110427813A权利要求书1/3页1.一种基于姿态指导行人图像生成的孪生生成式对抗网络的行人重识别方法，其特征在于：利用生成式对抗网络生成一系列标准的姿态图像，并且利用这些生成的图像扩充行人数据集以提升行人重识别网络的判别能力；提出行人重识别任务驱动的孪生生成式对抗网络模型生成多样性行人样本，采用多目标优化技术来约束生成器和判别器的协同训练；具体包括如下步骤：(1)采用目标检测算法对行人图像数据中的行人图像进行目标检测，获取成对的训练样本，将成对训练样本的两个行人图像分别称为条件行人图像和目标行人图像；(2)构建基于多样性样本生成的孪生生成式对抗网络模型，该模型对目标检测后输入的两组行人图像，即：条件行人图像和目标行人图像的姿态属性互换，实现多样性样本的生成；(3)构建基于保持身份特征的孪生生成式对抗网络模型，该模型利用身份判别器保留生成行人图像的身份信息；(4)构建基于多目标优化的孪生生成式对抗网络参数学习方法，通过基于进化多目标优化的群搜索策略提升孪生生成式对抗网络学习的稳定性；(5)验证提出的行人重识别方法的有效性，对生成行人图像构成的数据集进行行人重识别方法验证。2.根据权利要求1所述的基于姿态指导行人图像生成的孪生生成式对抗网络的行人重识别方法，其特征在于：所述步骤(1)中，对整张行人图像进行目标检测，采用深度学习的目标检测方法FasterRCNN目标检测算法，利用可解释卷积神经网络通道，实现对输入行人图像进行特征提取；同时利用注意机制对多种遮挡模式进行跨通道的表示，进而提升行人检测的性能。3.根据权利要求1所述的基于姿态指导行人图像生成的孪生生成式对抗网络的行人重识别方法，其特征在于：所述步骤(2)中，构建基于多样性样本生成的孪生生成式对抗网络由两个分支组成，每一个分支包括一个生成器和一个姿态判别器，满足：其中：Ii为输入的条件行人图像，Ij为输入的目标行人图像，Pj为对应目标行人图像Ij的目标行人姿态；LSiGAN表示目标行人图像Ij、目标行人姿态Pj与根据条件行人图像Ii、目标行人姿态Pj生成新图像G(Ii,Pj)之间的对抗损失函数；Dp(Ij,Pj)表示姿态判别器对目标行人图像Ij和目标行人姿态Pj的判别结果；G(Ii,Pj)表示条件行人图像Ii与目标行人姿态Pj经生成器后获得的生成图像；Dp(Pj,G(Ii,Pj))表示姿态判别器对目标行人姿态Pj和生成图像G(Ii,Pj)的判别结果；表示数学期望；Ii,Ij∈I表示变量Ii,Ij服从真实行人数据分布I，Pj∈P表示变量Pj服从真实姿态数据分布P，表示变量G(Ii,Pj)服从生成行人数据分布4.根据权利要求1所述的基于姿态指导行人图像生成的孪生生成式对抗网络的行人重2CN110427813A权利要求书2/3页识别方法，其特征在于：所述步骤2中，构建基于多样性样本生成的孪生生成式对抗网络模型包括如下步骤：(21)采用图像编码器对条件行人图像进行外观特征编码；(22)采用姿态编码器对目标行人姿态进行姿态特征编码；(23)一系列连续姿态注意力转移模块融合外观特征和姿态特征；(24)图像解码器将融合的特征生成新的图像。5.根据权利要求4所述的基于姿态指导