一种基于知识蒸馏的多跨域少样本分类方法.pdf

(19)中华人民共和国国家知识产权局(12)发明专利申请(10)申请公布号CN113610173A(43)申请公布日2021.11.05(21)申请号202110931565.1(22)申请日2021.08.13(71)申请人天津大学地址300072天津市南开区卫津路92号(72)发明人冀中倪婧玮刘西瑶(74)专利代理机构天津市北洋有限责任专利代理事务所12201代理人杜文茹(51)Int.Cl.G06K9/62(2006.01)G06N3/04(2006.01)G06N3/08(2006.01)权利要求书4页说明书8页附图1页(54)发明名称一种基于知识蒸馏的多跨域少样本分类方法(57)摘要一种基于知识蒸馏的多跨域少样本分类方法，利用知识蒸馏中师生网络的框架进行有效知识的迁移，从而使模型具有更好的泛化能力。本发明将元学习的训练策略引入知识蒸馏中，通过面向任务的知识蒸馏和多个教师网络之间的协作，不仅向学生网络提供了丰富且有效的知识，而且保证了学生网络对少样本任务的快速适应能力。通过引入多层次知识蒸馏，分别提取教师网络的输出预测和样本关系作为监督信息，从不同角度指导学生网络的训练，使得知识蒸馏的效率更高。由此，本发明能够将有效的知识更好地从多个源域迁移到目标域上，提高学生网络在目标少样本任务上的分类准确率。CN113610173ACN113610173A权利要求书1/4页1.一种基于知识蒸馏的多跨域少样本分类方法，其特征在于，包括如下步骤：1)预训练阶段，分别利用N个不同源域的训练集{Z1,Z2,…,ZN}来训练N个不同的教师网络，每个教师网络包含一个教师特征编码器E和教师分类器C，初始化N个教师网络参数，利用交叉熵损失函数对每一个教师网络进行预训练，最终得到N个训练好的教师网络；2)构建学生网络，学生网络是一种基于度量的少样本模型，包含一个学生特征编码器Es和一个度量函数d，初始化学生特征编码器Es的参数；3)元训练阶段，从N个不同源域的训练集中随机选取一个训练集作为当前的元训练集Dtrain，根据元学习的思想，从当前的元训练集Dtrain中随机采样一定量的少样本任务，每个任务都包含一个支持集S和一个查询集Q，支持集中含有W个类别的数据，每个类别有K个样本；4)依次将不同的少样本任务同时送到N个教师网络和学生网络中；5)依次将支持集S中第k个样本图像xk输入到N个教师特征编码器和学生特征编码器中，分别得到相对应的视觉特征其中xk为支持集S中第k个样本图像，En为第n个教师特征编码器，Es为学生特征编码器，为第n个教师特征编码器En对xk编码后输出的视觉特征，为学生特征编码器Es对xk编码后输出的视觉特征；6)分别对支持集中属于同一类别的样本视觉特征取平均，得到每个类别的原型表示为：其中K为第w个类别的样本总数，为经过第n个教师特征编码器编码后的第w个类别的原型表示，为经过学生特征编码器编码后的第w个类别的原型表示；7)依次将查询集的样本图像xQ输入到N个教师特征编码器和学生特征编码器中，分别得到相对应的视觉特征和其中xQ为查询集Q中的样本图像，En为第n个教师特征编码器，Es为学生特征编码器，为第n个教师特征编码器En对xQ编码后输出的视觉特征，为学生特征编码器Es对xQ编码后输出的视觉特征；8)根据经过学生特征编码器编码后的原型表示和查询集样本图像的视觉特征，按照如下公式计算查询集样本图像xQ属于支持集中各个类别的概率：2CN113610173A权利要求书2/4页s其中p(y＝w|xQ)为学生网络输出的查询集样本图像xQ属于第w个类别的预测概率，W为支持集中类别的总数，函数d为欧氏距离的度量函数，exp为自然常数e为底的指数函数；9)根据学生网络输出的查询集样本图像xQ的类别预测概率计算分类损失，设定学生网络的分类目标函数Lcls如下：s其中yQ为查询集中样本图像xQ的真实标签，p(y＝w|xQ)为学生网络输出的查询集样本图像xQ属于第w个类别的预测概率，W为支持集中类别的总数；10)根据经过N个教师特征编码器和学生特征编码器编码后的原型表示和查询集样本图像的视觉特征，利用温度系数τ计算软化后的类别预测概率分布，从而在N个教师网络和学生网络之间进行基于软标签的知识蒸馏，得到学生网络的基于软标签的目标函数LKL；11)根据经过N个教师特征编码器和学生特征编码器编码后的原型表示和查询集样本图像的视觉特征，利用成对的特征计算相似度矩阵，从而在N个教师网络和学生网络之间进行基于相似度的知识蒸馏，得到学生网络的基于相似度的目标函数Lsim；12)根据如下学生网络的总目标函数公式，使用SGD算法训练学生特征编码器：L＝Lcls+LKL+Lsim(21)其中，L为学生网络的总目标函数，LKL为学生网络的基于软标签的目标函数，Lsim为学生