基于数据风格解耦内容迁移的行人重识别数据域适应方法.pdf

(19)中华人民共和国国家知识产权局(12)发明专利申请(10)申请公布号CN112633071A(43)申请公布日2021.04.09(21)申请号202011369468.XG06N3/08(2006.01)(22)申请日2020.11.30(71)申请人之江实验室地址310023浙江省杭州市余杭区文一西路1818号人工智能小镇10号楼申请人浙江大学(72)发明人于慧敏李殊昭陆易叶喜勇(74)专利代理机构杭州浙科专利事务所(普通合伙)33213代理人孙孟辉(51)Int.Cl.G06K9/00(2006.01)G06K9/46(2006.01)G06K9/62(2006.01)G06N3/04(2006.01)权利要求书2页说明书4页附图1页(54)发明名称基于数据风格解耦内容迁移的行人重识别数据域适应方法(57)摘要本发明属于智能识别技术领域，涉及基于数据风格解耦内容迁移的行人重识别数据域适应方法，包括：步骤一，构建用于训练的数据风格解耦网络；步骤二，利用源域和目标域数据进行内容迁移；步骤三，利用源域和目标域数据，合成样本特征以及对应的标签对内容特征提取器CE进行训练；步骤四，训练完成后，仅保留内容特征提取器CE作为测试用特征提取网络。本发明利用风格迁移模型实现了对不同数据域图片的风格解耦，获得具有数据域不变性的共享内容特征空间，并在共享内容特征空间内进行内容迁移，深入挖掘了源域与目标域数据之间的差异进行迁移适应，在测试应用中仅保留内容特征提取器，网络规模小，模型复杂度低，易于在实际应用场景部署。CN112633071ACN112633071A权利要求书1/2页1.基于数据风格解耦内容迁移的行人重识别数据域适应方法，其特征在于，包括以下步骤：步骤一：构建用于训练的数据风格解耦网络：所述用于训练的数据风格解耦网络包含由卷积神经网络构成的风格特征提取器SE和内容特征提取器CE，图像解码器Dec，数据域判别器D；网络构建后将源域和目标域行人数据送入数据风格解耦网络进行训练；步骤二：利用源域和目标域数据进行内容迁移：在进行风格解耦后的内容特征空间内，首先对目标域数据特征进行聚类，根据所在聚类分配身份伪标签；其次利用源域数据样本特征和目标域数据样本特征进行加权组合，生成新的合成样本特征，并以相同的方式加权获得对应的合成样本标签；步骤三：利用源域数据，目标域数据，合成样本特征以及对应的标签对内容特征提取器CE进行训练；步骤四：训练完成后，仅保留内容特征提取器CE作为测试用特征提取网络。2.如权利要求1所述的基于数据风格解耦内容迁移的行人重识别数据域适应方法，其特征在于，所述步骤一中利用输入的行人数据对风格解耦网络进行训练，具体包括：（1.1）将源域行人图像和目标域行人图像分别送入风格特征提取器SE，提取对应的风格特征；（1.2）将源域行人图像和目标域行人图像分别送入内容特征提取器CE，提取对应的内容特征；（1.3）将源域行人图像的风格特征和内容特征送入图像解码器Dec，生成重构的源域行人图像，将目标域行人图像的风格特征和内容特征送入图像解码器Dec，生成重构的目标域行人图像；（1.4）将源域行人图像的风格特征和目标域行人图像的内容特征送入图像解码器Dec，生成目标域向源域风格迁移的图像，将目标域行人图像的风格特征和源域图像的内容特征送入图像解码器Dec，生成源域向目标域风格迁移的图像；（1.5）将重构的源域行人图像、重构的目标域行人图像、目标域向源域风格迁移的图像、源域向目标域风格迁移的图像送入数据域判别器D判别其风格特征所对应的域类别进行分类。3.如权利要求2所述的基于数据风格解耦内容迁移的行人重识别数据域适应方法，其特征在于，所述数据域判别器D为一个二类分类器，通过输入数据所具有的风格特征来对输入数据所属的数据域进行分类判断，当保持内容特征不变时，交换风格特征后生成的图像，通过数据域判别器D正确判断所属域来约束风格特征提取器SE学习到具有域特性的信息，内容特征提取器CE学习具有域不变性的信息。4.如权利要求1所述的基于数据风格解耦内容迁移的行人重识别数据域适应方法，其特征在于，所述步骤二中利用输入的行人数据进行内容迁移，具体包括：（2.1）利用当前的内容特征提取器CE采用DBSCAN聚类算法对目标域数据进行聚类，对2CN112633071A权利要求书2/2页目标域数据集进行聚类并分配聚类标签作为身份伪标签；（2.2）随机选取一张源域数据行人图像和一张目标域数据行人图像，送入内容特征提取器CE，获得对应的内容特征，其对应的身份类别标签分别为；（2.3）将两个内容特征以权重进行加权组合，获得新的合成样本特征，并对身份标签进行相同的加权组合，获得合成样本标签。5.如权利要求1所述的基于数据风格解耦内容迁移的行人重识别数据域适应方法，其