一种基于全局-局部知识蒸馏的跨域小样本图像分类方法.pdf

(19)国家知识产权局(12)发明专利申请(10)申请公布号CN115953630A(43)申请公布日2023.04.11(21)申请号202310038225.5(22)申请日2023.01.09(71)申请人西北工业大学地址710072陕西省西安市友谊西路(72)发明人张磊魏巍周飞张艳宁(74)专利代理机构西安凯多思知识产权代理事务所(普通合伙)61290专利代理师范倩(51)Int.Cl.G06V10/764(2022.01)G06V10/774(2022.01)G06V10/74(2022.01)G06V10/42(2022.01)G06V10/44(2022.01)权利要求书2页说明书5页(54)发明名称一种基于全局-局部知识蒸馏的跨域小样本图像分类方法(57)摘要本发明提供了一种基于全局‑局部知识蒸馏的跨域小样本图像分类方法。构建了由全局分支和局部分支构成的分类模型，其中，全局分支以原始图像为输入，用于提取图像的全局特征，局部分支以原始图像的局部块为输入，用于提取该图像的局部特征；在两分支之间，通过构建全局‑局部知识蒸馏损失促进全局特征关注到图像的局部区域，使得全局特征捕获丰富的语义信息，进而提升全局特征在跨域小样本任务上的泛化性能。CN115953630ACN115953630A权利要求书1/2页1.一种基于全局‑局部知识蒸馏的跨域小样本图像分类方法，其特征在于步骤如下：步骤1：基于现有的图像数据集构建小样本任务训练数据集，包括支持集和查询集其中，支持集包括N个类别，每个类别带有K个监督样本，查询集也包括这N个类别，每个类别带有M个未标记的样本；步骤2：构建模型的全局分支，其处理过程如下：首先，按照下式获得支持集的原型表示：其中，表示支持集中第n个类别的第k个样本，表示全局分支中的特征提取网络，本发明中采用ResNet‑10网络，Cn表示第n个类别的原型表示，n＝1,2,…,N；然后，基于原型表示对查询集中的每个样本进行类别隶属关系预测：其中，表示查询集中的第i个查询样本，i＝1,2,…,N*M，表示该样本的预测得分，matching(·)为两个向量之间的相似度度量函数，本发明中使用欧氏距离进行相似度度量；接着，根据预测得分中的最大相似度对应的类别作为该查询样本的预测标签并根据查询样本的预测标签和真实标签计算交叉熵损失如下：其中，H(·)表示交叉熵损失函数，表示查询样本对应的真实标签，表示查询样本的预测标签和真实标签之间的交叉熵损失；步骤3：构建模型的局部分支，其处理过程如下：对于查询样本首先使用随机裁剪获取其相应的局部图像块其中r∈[1,R]，R表示每个查询图像对应的局部图像块的个数，表示查询样本的第r个局部图像块；然后，使用局部分支中的特征提取网络提取得到各个局部图像块对应的局部特征其中，局部分支中的特征提取网络采用ResNet‑10网络；接着，使用步骤2计算的原型对局部特征进行类别隶属关系预测，得到各个局部图像块对应的预测得分2CN115953630A权利要求书2/2页其中，表示查询样本的第r个局部图像块的相似度得分，表示查询样本的第r个局部图像块的局部特征；步骤4：按照下式计算模型的总损失其中，I表示小样本任务中查询样本的总个数，表示查询样本的全局‑局部知识蒸馏损失，表示跨图像的局部‑全局蒸馏损失，λ1表示全局‑局部知识蒸馏损失项的系数，设置λ1为1，λ2表示跨图像的局部‑全局蒸馏损失项的系数，设置λ2为0.15；所述的查询样本的全局‑局部知识蒸馏损失按下式计算得到：所述的跨图像的局部‑全局蒸馏损失按下式计算得到：其中，表示查询集中的第j个查询样本的第r个局部图像块的预测得分，j≠i表示j为与第i个查询样本属同一类别的不同样本，j＝1,2,…,N*M；步骤5：根据步骤4计算的模型总损失，使用随机梯度下降法，端到端的训练全局分支的网络参数，并按下式进行局部分支的网络参数的更新：θT←mθT+(1‑m)θS(8)其中，θT表示局部分支中的网络参数，m表示指数移动平均更新中的动量系数，设置m为0.998，θS表示全局分支中的网络参数，←表示更新操作；步骤6：将待处理图像数据集输入到步骤5训练后得到的全局分支，预测得到其中每幅图像的隶属类别，完成图像分类。3CN115953630A说明书1/5页一种基于全局‑局部知识蒸馏的跨域小样本图像分类方法技术领域[0001]本发明属图像处理技术领域，具体涉及一种基于全局‑局部知识蒸馏的跨域小样本图像分类方法。背景技术[0002]图像处理是机器视觉走向工业应用的关键技术，而图像分类是图像处理技术的基础。在医学、遥感等多种场景下，图像数据往往难以获取，呈现典型的小样本特性。为了缓解小样本问题，一种有效的方式是利用源域数据学习可迁移的知识，并将学习到的知识泛化到目标域的小样本任务