一种基于原型对比自训练的跨域图像分类方法.pdf

(19)国家知识产权局(12)发明专利申请(10)申请公布号CN115908892A(43)申请公布日2023.04.04(21)申请号202211230693.4G06N3/088(2023.01)(22)申请日2022.10.09(71)申请人浙江大学地址310058浙江省杭州市西湖区余杭塘路866号(72)发明人张寅余晏罗聪庄越挺(74)专利代理机构杭州求是专利事务所有限公司33200专利代理师傅朝栋张法高(51)Int.Cl.G06V10/764(2022.01)G06V10/762(2022.01)G06V10/74(2022.01)G06V10/82(2022.01)G06N3/048(2023.01)权利要求书2页说明书7页附图1页(54)发明名称一种基于原型对比自训练的跨域图像分类方法(57)摘要本发明公开了一种基于原型对比自训练的跨域图像分类方法。本发明包括如下步骤：1)通过域不变特征学习方法，获得跨域图像分类模型；2)利用当前最新的跨域图像分类模型预测目标域上图像的伪标签，使用每个批次的数据不断更新每个类别的原型并计算对比损失；3)将分类损失和对比损失结合构成目标函数进行训练，优化更新特征抽取网络与跨域图像分类网络，再回到步骤2)循环执行。本发明将原型对比学习融入到自训练中，通过将目标域中无标签图像数据的分布结构编码进自训练框架中，并在自学习的过程中完全放弃掉源数据，有效解决了域不变表征学习与自训练方法之间的不兼容问题，提升了跨域图像分类网络对分类边界附近相似图像数据分类的鲁棒性。CN115908892ACN115908892A权利要求书1/2页1.一种基于原型对比自训练的跨域图像分类方法，其特征在于，步骤如下：S1：基于有标签的源域图像数据集和无标签的目标域图像数据集，通过域不变特征学习方法，获得由图像特征提取网络和图像分类网络级联而成的跨域图像分类模型；S2：利用当前最新的跨域图像分类模型预测目标域上图像的伪标签，使用每个批次的伪标签类别数据不断更新每个类别的原型，所述更新方式为：在目标域的每个批量数据中，先根据伪标签的类别计算该批次对应类别的原型，然后使用指数移动平均策略将每个批次计算出的原型更新到对应类别的原型中；完成各类别的原型更新后，根据每个类别的数据应该更接近对应类别的原型的原理，计算图像分类网络的原型对比损失；S3：将跨域图像分类模型中的图像特征提取网络和图像分类网络重新初始化，再结合跨域图像分类模型对目标域数据伪标签的分类损失和原型对比损失计算模型的目标函数，从而进行用于无监督跨域图像分类的原型对比自训练，优化更新跨域图像分类模型中的特征抽取网络与图像分类网络，在跨域图像分类模型收敛之后，再重新回到步骤S2循环执行，直至达到预设的最大循环次数，完成跨域图像分类模型的训练；S4：基于S3中训练得到的跨域图像分类模型，对输入的目标域图像预测图像的分类。2.如权利要求1所述的基于原型对比自训练的跨域图像分类方法，其特征在于，所述S1中，所述域不变特征学习方法通过Min‑Max对抗学习框架实现。3.如权利要求1所述的基于原型对比自训练的跨域图像分类方法，其特征在于，所述S2中，每个类别的原型更新公式如下：其中k＝1,2,…,K其中ck表示第k个类别的原型，由每个批次数据上对应类别k的原型来更新，F为图像特征提取网络，α为平滑参数，nt表示一个批次中的目标域图像样本数量，表示目标域图像数据集的一个批次中的第i个图像样本，K表示图像的类别总数；1[·]∈{0,1}表示指示函数，当[·]中的条件为真时指示函数的值为1，否则值为0；表示图像样本对应的类别伪标签。4.如权利要求3所述的基于原型对比自训练的跨域图像分类方法，其特征在于，所述平滑参数α默认设置为0.1。5.如权利要求1所述的基于原型对比自训练的跨域图像分类方法，其特征在于，所述S2中，原型对比损失Lpc的计算公式如下：其中为图像样本通过图像特征提取网络F后得到的特征，表示图像样本2CN115908892A权利要求书2/2页对应的类别伪标签，sim(·,·)表示余弦相似度计算函数。6.如权利要求1所述的基于原型对比自训练的跨域图像分类方法，其特征在于，所述模型的目标函数如下：其中Lpl为目标域数据伪标签的分类损失，Lpc为原型对比损失，μ为均衡两种损失的超参数。7.如权利要求1所述的基于原型对比自训练的跨域图像分类方法，其特征在于，所述超参数μ在每一轮训练过程中从0线性变化至1。8.如权利要求1所述的基于原型对比自训练的跨域图像分类方法，其特征在于，所述大规模图像的预训练模型为在ImageNet上预训练的ResNet‑50网络。9.如权利要求1所述的基于原型对比自训练的跨域图像分类方法，其特征在于，所述图像分类网络采用多层感知机模型通过域不变特征