图像分类方法、装置以及计算机可读存储介质.pdf

(19)中华人民共和国国家知识产权局(12)发明专利申请(10)申请公布号CN114298224A(43)申请公布日2022.04.08(21)申请号202111642391.3(22)申请日2021.12.29(71)申请人云从科技集团股份有限公司地址511457广东省广州市南沙区南沙街金隆路37号501房(72)发明人姚俊荣(74)专利代理机构北京瀚仁知识产权代理事务所(普通合伙)11482代理人屠晓旭陈敏(51)Int.Cl.G06K9/62(2022.01)G06V10/764(2022.01)G06V10/774(2022.01)权利要求书2页说明书10页附图3页(54)发明名称图像分类方法、装置以及计算机可读存储介质(57)摘要本发明涉及图像处理技术领域，具体提供一种图像分类方法、装置以及计算机可读存储介质，旨在解决如何提高图像分类准确性与效率的问题。为此目的，本发明的方法包括：将当前教师模型的特征提取网络划分成至少一个第一特征提取层，将学生模型的特征提取网络划分成至少一个第二特征提取层且第一、第二特征提取层一一对应；获取当前教师模型中第一特征提取层提取到的教师图像特征以及获取与第一特征提取层对应的第二特征提取层提取到的学生图像特征。采用知识蒸馏方法，使所有教师模型同时指导学生模型使用每个教师模型各自对应的教师图像特征与学生图像特征进行图像分类训练，提高分类准确性。同时学生模型的模型参数少，因而具备较高的分类效率。CN114298224ACN114298224A权利要求书1/2页1.一种图像分类方法，其特征在于，所述方法包括：针对每个教师模型，将当前教师模型的特征提取网络划分成至少一个第一特征提取层，将学生模型的特征提取网络划分成至少一个第二特征提取层且所述第一特征提取层与所述第二特征提取层一一对应；其中，所述教师模型是训练好的图像分类模型；获取当前教师模型中每个第一特征提取层提取到的图像样本的教师图像特征以及获取学生模型中与每个第一特征提取层各自对应的第二特征提取层提取到的图像样本的学生图像特征；采用知识蒸馏方法，使所有教师模型同时指导所述学生模型使用每个教师模型各自对应的教师图像特征与学生图像特征进行图像分类训练；采用训练好的学生模型进行图像分类。2.根据权利要求1所述的图像分类方法，其特征在于，“采用知识蒸馏方法，使所有教师模型同时指导所述学生模型使用每个教师模型各自对应的教师图像特征与学生图像特征进行图像分类训练”的步骤具体包括：采用知识蒸馏方法并按照下式所示的知识蒸馏函数Ltotal进行图像分类训练：Ltotal＝LCE+Lteacher其中，LCE表示所述学生模型对所述图像样本进行图像分类训练时确定的损失函数，所述Lteacher表示同时利用所有教师模型对所述学生模型使用每个教师模型各自对应的教师图像特征与学生图像特征进行训练指导学习时确定的知识蒸馏损失函数。3.根据权利要求2所述的图像分类方法，其特征在于，所述知识蒸馏损失函数Lteacher如下式所示：其中，所述wt表示第t个教师模型的第一蒸馏权重，所述Llayer,t表示利用第t个教师模型对所述学生模型使用第t个教师模型对应的教师图像特征与学生图像特征进行训练指导学习时确定的多层次蒸馏损失函数；Llayer,t＝∑wtiLti，所述wti表示第t个教师模型中第i个第一特征提取层的第二蒸馏权重，所述Lti表示利用第t个教师模型对所述学生模型使用第t个教师模型中第i个第一特征提取层提取到的教师图像特征以及学生模型中与第i个第一特征提取层对应的第二特征提取层提取到的学生图像特征进行训练指导学习时确定的第i个第一特征提取层的蒸馏损失函数。4.根据权利要求3所述的图像分类方法，其特征在于，所述第i个第一特征提取层的蒸馏损失函数Lti如下式所示：其中，所述Ttij表示第t个教师模型中第i个第一特征提取层提取到的教师图像特征中的第j个特征值，Sj表示学生模型中与第i个第一特征提取层对应的第二特征提取层提取到的学生图像特征中的第j个特征值。5.根据权利要求3所述的图像分类方法，其特征在于，所述第二蒸馏权重wti的计算公式2CN114298224A权利要求书2/2页如下式所示：wti＝Dαti其中，所述D表示根据图像分类训练时采用的图像样本的Batch值确定的超参数，αti表示预设的第t个教师模型中第i个第一特征提取层的权重超参数。6.根据权利要求1所述的图像分类方法，其特征在于，“获取当前教师模型中每个第一特征提取层提取到的图像样本的教师图像特征”的步骤具体包括按照下式所示的方法分别对每个第一特征提取层提取到的教师图像特征进行特征处理：其中，所述F′j表示特征处理后的教师图像特征中的第j个特征值，所述Fj表示特征处理之前的教师图像特征中的第j个特征值，所述t表示阈