模型蒸馏方法、装置、电子设备及计算机可读介质.pdf

本公开涉及一种模型蒸馏方法、装置、电子设备及计算机可读介质,属于深度学习技术领域。该方法包括:将模型训练集中的训练数据分别输入教师模型和学生模型中,得到所述教师模型对应的第一输出概率和所述学生模型对应的第二输出概率;对所述第一输出概率进行动态变换得到第一变换概率,对所述第二输出概率进行动态变换得到第二变换概率;根据所述第一变换概率和所述第二变换概率以及损失函数确定模型损失值;根据所述模型损失值对所述学生模型进行迭代训练,得到知识蒸馏后的目标模型。本公开通过一种动态调节机制,对教师模型和学生模型的输出概率进行动态变换,使模型输出概率变得更加平滑,便于学生模型抓取更细粒度信息,提升模型蒸馏效果。