基于知识蒸馏的模型训练方法、图像处理方法及装置.pdf

(19)中华人民共和国国家知识产权局(12)发明专利申请(10)申请公布号CN111242297A(43)申请公布日2020.06.05(21)申请号201911319895.4(22)申请日2019.12.19(71)申请人北京迈格威科技有限公司地址100080北京市海淀区科学院南路2号融科资讯中心A座316-318(72)发明人张有才戴雨辰常杰危夷晨(74)专利代理机构北京钲霖知识产权代理有限公司11722代理人冯志云李志新(51)Int.Cl.G06N3/08(2006.01)权利要求书2页说明书7页附图4页(54)发明名称基于知识蒸馏的模型训练方法、图像处理方法及装置(57)摘要本公开提供了一种基于知识蒸馏的模型训练方法，应用于学生模型，包括：根据蒸馏位置，设置与蒸馏位置的第一输出层相同的第二输出层；获取训练集，训练集包括多个训练数据；基于训练数据，得到第一输出层输出的第一数据、以及第二输出层输出的第二数据；获取教师模型基于训练数据，在与蒸馏位置对应的教师层输出的监督数据，其中教师模型为已完成训练、且与学生模型完成相同任务的复杂模型；基于监督数据与第一数据的差距、以及第二数据，根据蒸馏损失函数得到蒸馏损失值；基于蒸馏损失值，更新学生模型的参数。通过公开实施例使得知识蒸馏中教师模型更加偏重将简单数据的知识传递给学生模型，提高了知识蒸馏的训练效率，保证了学生模型准确性。CN111242297ACN111242297A权利要求书1/2页1.一种基于知识蒸馏的模型训练方法，其中，应用于学生模型，所述方法包括：根据蒸馏位置，设置与所述蒸馏位置的第一输出层相同的第二输出层；获取训练集，所述训练集包括多个训练数据；基于所述训练数据，得到所述第一输出层输出的第一数据、以及所述第二输出层输出的第二数据；获取教师模型基于所述训练数据，在与所述蒸馏位置对应的教师层输出的监督数据，其中所述教师模型为已完成训练、且与所述学生模型完成相同任务的复杂模型；基于所述监督数据与所述第一数据的差距、以及所述第二数据，根据蒸馏损失函数得到蒸馏损失值；基于所述蒸馏损失值，更新所述学生模型的参数。2.根据权利要求1所述的基于知识蒸馏的模型训练方法，其中，所述蒸馏损失函数设置为所述差距与所述蒸馏损失值正相关；且当所述第二数据提高时，所述蒸馏损失值降低。3.根据权利要求2所述的基于知识蒸馏的模型训练方法，其中，所述蒸馏损失函数为：其中，为所述监督数据，为所述第一数据，为所述第二数据。4.根据权利要求1-3任一项所述的基于知识蒸馏的模型训练方法，其中，所述训练集还包括：与所述训练数据一一对应的标准标注数据；所述方法还包括：基于所述训练数据，得到所述学生模型输出的学生输出数据；以及，基于所述标准标注数据以及所述学生输出数据，根据任务损失函数得到任务损失值；所述基于所述蒸馏损失，更新所述学生模型的参数，包括：基于所述任务损失值与所述蒸馏损失值的损失总值，更新所述学生模型的参数。5.根据权利要求4所述的基于知识蒸馏的模型训练方法，其中，所述方法还包括：经过多次迭代使得所述损失总值低于训练阈值后，删除所述第二输出层，得到完成训练的学生模型。6.根据权利要求1所述的基于知识蒸馏的模型训练方法，其中，所述蒸馏位置包括以下一个或多个：所述学生模型中任一特征提取层，所述学生模型的全连接层。7.一种图像处理方法，其中，所述方法包括：获取图像；通过模型提取所述图像的图像特征，得到图像识别结果，其中，所述模型为通过如权利要求1-6任一项所述的基于知识蒸馏的模型训练方法得到的学生模型。8.一种基于知识蒸馏的模型训练装置，其中，应用于学生模型，所述装置包括：模型构建模块，用于根据蒸馏位置，设置与所述蒸馏位置的第一输出层相同的第二输出层；第一获取模块，用于获取训练集，所述训练集包括多个训练数据；数据处理模块，用于基于所述训练数据，得到所述第一输出层输出的第一数据、以及所述第二输出层输出的第二数据；第二获取模块，用于获取教师模型基于所述训练数据，在与所述蒸馏位置对应的教师2CN111242297A权利要求书2/2页层输出的监督数据，其中所述教师模型为已完成训练、且与所述学生模型完成相同任务的复杂模型；损失计算模块，用于基于所述监督数据与所述第一数据的差距、以及所述第二数据，根据蒸馏损失函数得到蒸馏损失值；参数调整模块，用于基于所述蒸馏损失值，更新所述学生模型的参数。9.一种图像处理装置，其中，所述装置包括：图像获取模块，用于获取图像；图像识别模块，用于通过模型提取所述图像的图像特征，得到图像识别结果，其中，所述模型为通过如权利要求1-6任一项所述的基于知识蒸馏的模型训练方法得到的学生模型。10.一种电子设备，其中，所述电子设备包括：存储器，用于存储指令；以及处理器，用于调用所述存储器存储的指令执