伪标签生成模型训练方法、装置及伪标签生成方法及装置.pdf

(19)中华人民共和国国家知识产权局(12)发明专利申请(10)申请公布号CN108197670A(43)申请公布日2018.06.22(21)申请号201810098924.8(22)申请日2018.01.31(71)申请人国信优易数据有限公司地址100070北京市丰台区南四环西路188号总部广场31号楼(72)发明人孙源良樊雨茂刘萌(74)专利代理机构北京超凡志成知识产权代理事务所(普通合伙)11371代理人戈丰(51)Int.Cl.G06K9/62(2006.01)G06K9/46(2006.01)G06N3/04(2006.01)G06N3/08(2006.01)权利要求书3页说明书16页附图4页(54)发明名称伪标签生成模型训练方法、装置及伪标签生成方法及装置(57)摘要本发明提供一种伪标签生成模型训练方法、装置及伪标签生成方法及装置，该方法包括：用第一辅助神经网络中指定特征提取层提取第一目标域数据的第一特征向量，用第二辅助神经网络中指定特征提取层提取第二目标域数据的第二特征向量；用第一特征向量和第二特征向量计算第一域混淆损失；用目标神经网络中指定特征提取层提取源域数据的源域特征向量；将目标神经网络输出的特征向量输入至目标分类器得到第一分类结果；用第一特征向量和源域特征向量计算第二域混淆损失；根据第一域混淆、第二域混淆损失及第一分类结果，经过对目标神经网络和目标分类器进行多轮训练，得到伪标签生成模型。该方法获得的伪标签生成模型能生成质量较高的伪标签。CN108197670ACN108197670A权利要求书1/3页1.一种伪标签生成模型训练方法，其特征在于，该方法包括：获取带有标签的源域数据、不带标签的第一目标域数据以及带有标签的第二目标域数据；使用第一辅助神经网络对第一目标域数据进行特征学习，获取在第一辅助神经网络中指定特征提取层的第一特征向量，并且使用第二辅助神经网络对第二目标域数据进行特征学习，获取第二辅助神经网络中指定特征提取层的第二特征向量；根据所述第一特征向量以及第二特征向量计算第一域混淆损失；使用目标神经网络对所述源域数据进行特征学习，获取所述目标神经网络中指定特征提取层提取的源域特征向量；并将目标神经网络输出的特征向量输入至目标分类器得到第一分类结果；根据所述第一特征向量和所述源域特征向量计算第二域混淆损失；根据所述第一域混淆损失对所述第一辅助神经网络进行本轮训练；以及根据所述第二域混淆损失，以及所述第一分类结果，对所述目标神经网络进行本轮训练；以及根据所述第一分类结果，对所述目标分类器进行本轮训练；经过对所述目标神经网络和所述目标分类器进行多轮训练，得到伪标签生成模型。2.根据权利要求1所述的方法，其特征在于，所述指定特征提取层包括位于每个神经网络末端预设数量的特征提取层；所述根据所述第一特征向量和所述源域特征向量计算第二域混淆损失，具体包括：将从第一辅助神经网络的各个指定特征提取层提取的所述第一特征向量进行拼接，形成第一拼接向量，以及将从目标神经网络的各个指定特征提取层提取的所述源域特征向量进行拼接，形成目标拼接向量；根据所述第一拼接向量以及所述目标拼接向量，计算所述第二域混淆损失。3.根据权利要求2所述的方法，其特征在于，根据所述第二域混淆损失，以及所述第一分类结果，对所述目标神经网络进行本轮训练；以及，根据所述第一分类结果，对所述目标分类器进行本轮训练，具体包括：执行如下域混淆损失比对操作以及第一分类损失确定操作，直至第二域混淆损失不大于预设的第二混淆损失阈值，以及第一分类损失不大于预设的第一分类损失阈值；所述域混淆损失比对操作包括：将所述第二域混淆损失与预设的第二混淆损失阈值进行比对；如果所述第二域混淆损失大于预设的第二混淆损失阈值，则调整所述目标神经网络的参数；所述第一分类损失确定操作包括：根据对所述源域数据的所述第一分类结果，以及所述源域数据的标签，计算第一分类损失；将所述第一分类损失与预设的第一分类损失阈值进行比对；如果所述第一分类损失大于预设的第一分类损失阈值，则调整所述目标神经网络的参数以及所述目标分类器的参数。4.根据权利要求1所述的方法，其特征在于，所述根据所述第一特征向量以及第二特征向量计算第一域混淆损失之后，还包括：2CN108197670A权利要求书2/3页根据所述第一域混淆损失调整所述第二辅助神经网络在训练过程中的参数；所述根据所述第一特征向量和所述源域特征向量计算第二域混淆损失之后，还包括:根据所述第二域混淆损失，调整所述第一辅助神经网络在训练过程中的参数。5.根据权利要求1所述的方法，其特征在于，所述使用第一辅助神经网络对第一目标域数据进行特征学习之后，还包括：使用第一分类器对所述第一辅助神经网络输出的特征向量进行分类；根据第一分类器对第一辅助神经网络输出的特征向量