内容提供者
知识蒸馏模型训练方法及装置.pdf
2023-05-23
10金币
563KB
16页
努力****恨风
实名认证
内容提供者
1/10
2/10
3/10
4/10
5/10
6/10
7/10
8/10
9/10
10/10
亲，该文档总共16页，到这已经超出免费预览范围，如果喜欢就直接下载吧～
相关资料
知识蒸馏模型训练方法及装置.pdf
本公开涉及联合学习技术领域,提供了一种知识蒸馏模型训练方法及装置。该方法包括:在接收到模型需求方的请求指令的情况下,根据请求指令确定出模型需求方对应的模型提供方;分别对模型需求方的训练数据和模型提供方的教师模型进行隐私计算;在模型需求方与模型提供方之间,共享经过隐私计算后的训练数据和教师模型;基于经过隐私计算后的训练数据和教师模型,模型需求方与模型提供方进行交互计算,得到交互结果;基于交互结果和训练数据进行模型需求方的知识蒸馏模型训练,以得到模型需求方的学生模型。
2023-05-23
10
563KB
基于知识蒸馏的模型训练方法、装置及电子设备.pdf
本申请实施例提供一种基于知识蒸馏的模型训练方法、装置及电子设备，涉及机器学习技术领域，实现了在单阶段检测网络的学生模型以及两阶段检测网络的教师模型的情况下，其中学生模型与教师模型为异构模型，以知识蒸馏的方式训练用于目标检测的学生模型。该方法包括：获取已经训练好的教师模型；将学生模型特征层的特征尺度与教师模型特征层的特征尺度对齐，并确定特征蒸馏损失；将学生模型输出层的预测框及对应的概率分布与教师模型输出层的预测框及对应的概率分布对齐，并确定输出蒸馏损失；依据特征蒸馏损失及输出蒸馏损失改进学生模型的损失函数；
2023-06-02
10
906KB
基于知识蒸馏的模型训练方法、图像处理方法及装置.pdf
本公开提供了一种基于知识蒸馏的模型训练方法，应用于学生模型，包括：根据蒸馏位置，设置与蒸馏位置的第一输出层相同的第二输出层；获取训练集，训练集包括多个训练数据；基于训练数据，得到第一输出层输出的第一数据、以及第二输出层输出的第二数据；获取教师模型基于训练数据，在与蒸馏位置对应的教师层输出的监督数据，其中教师模型为已完成训练、且与学生模型完成相同任务的复杂模型；基于监督数据与第一数据的差距、以及第二数据，根据蒸馏损失函数得到蒸馏损失值；基于蒸馏损失值，更新学生模型的参数。通过公开实施例使得知识蒸馏中教师模型
2024-01-10
10
732KB
基于知识蒸馏的语言模型训练方法、文本分类方法及装置.pdf
本公开是关于一种基于知识蒸馏的语言模型训练方法、文本分类方法、基于知识蒸馏的语言模型训练装置、文本分类装置、电子设备及非临时性计算机可读存储介质。基于知识蒸馏的语言模型训练方法，包括：第一词向量层参数确定步骤和语言模型训练步骤。文本分类方法包括：获取待分类文本；基于待分类文本，通过提取得到待分类文本的关键词编码列表；根据关键词编码列表，通过语言模型，得到待分类文本对应的各关键词的词向量；进而通过文本分类层，得到待分类文本的分类结果。采用知识蒸馏的方法，保留模型准确性的同时，减少了对标注样本的依赖，且通过简
2023-11-13
10
699KB
基于知识蒸馏的目标检测模型训练方法.pdf
本发明提供了一种基于知识蒸馏的目标检测模型训练方法，包括：利用训练样本图像集训练目标检测教师模型，训练样本图像具有：第一标签：目标检测框中心点像素位置硬标签概率矩阵；第二标签：目标检测框的宽和高；第三标签：目标检测框中心点像素位置偏移量；目标检测教师模型的预测输出结果包括：目标检测框中心点像素位置概率热力图、目标检测框的宽和高、目标检测框中心点像素位置偏移量；以知识蒸馏的方式改进目标检测学生模型的损失函数后，训练生成目标检测学生模型。本发明的解决了利用现有的知识蒸馏方法训练获取的目标检测模型无法同时保证网
2023-07-25
10
570KB