用于生成模型簇的方法、装置及计算机程序产品.pdf

(19)中华人民共和国国家知识产权局(12)发明专利申请(10)申请公布号CN114186681A(43)申请公布日2022.03.15(21)申请号202111472591.9(22)申请日2021.11.30(71)申请人北京百度网讯科技有限公司地址100085北京市海淀区上地十街10号百度大厦2层(72)发明人张婉平温圣召(74)专利代理机构北京英赛嘉华知识产权代理有限责任公司11204代理人王达佐马晓亚(51)Int.Cl.G06N3/08(2006.01)G06N3/04(2006.01)权利要求书2页说明书8页附图5页(54)发明名称用于生成模型簇的方法、装置及计算机程序产品(57)摘要本公开提供了用于生成模型簇的方法、装置、电子设备、存储介质及计算机程序产品，涉及人工智能领域，具体涉及深度学习、计算机视觉技术领域，可用于人脸图像处理、人脸图像识别场景下。具体实现方案为：对预训练的教师模型进行不同程度的模型蒸馏，得到多个学生模型；基于训练数据集中的训练数据，分别通过教师模型得到第一特征信息，通过多个学生模型得到第二特征信息；根据第一特征信息和第二特征信息确定损失函数；基于损失函数更新多个学生模型；将训练后的多个学生模型确定为目标模型簇。本公开可以得到包括不同规模的、高准确度的多个学生模型的模型簇。CN114186681ACN114186681A权利要求书1/2页1.一种用于生成模型簇的方法，包括：对预训练的教师模型进行不同程度的模型蒸馏，得到多个学生模型；基于训练数据集中的训练数据，分别通过所述教师模型得到第一特征信息，通过所述多个学生模型得到第二特征信息；根据所述第一特征信息和所述第二特征信息确定损失函数；基于所述损失函数更新所述多个学生模型；将训练后的多个学生模型确定为目标模型簇。2.根据权利要求1所述的方法，其中，所述根据所述第一特征信息和所述第二特征信息确定损失函数，包括：根据所述教师模型的第一特征信息和每个学生模型的第二特征信息之间的损失函数，得到总损失函数；以及所述基于所述损失函数更新所述多个学生模型，包括：根据所述总损失函数，更新所述多个学生模型。3.根据权利要求1所述的方法，其中，所述对预训练的教师模型进行不同程度的模型蒸馏，得到多个学生模型，包括：对所述教师模型中用于特征提取的卷积通道分别进行不同程度的减少，得到所述多个学生模型。4.根据权利要求1‑3中任一项所述的方法，其中，还包括：根据用于部署模型的目标芯片的算力，确定所述目标模型簇中适配于所述目标芯片的目标学生模型。5.根据权利要求1‑3中任一项所述的方法，其中，所述教师模型为人脸识别模型，所述人脸识别模型通过如下方式训练得到：获取训练样本集，其中，所述训练样本集中的训练样本包括样本人脸图像和分类标签；利用机器学习方法，以训练样本中的样本人脸图像为输入，以所输入的样本人脸图像对应的分类标签为期望输出，训练得到所述人脸识别模型。6.一种用于生成模型簇的装置，包括：蒸馏单元，被配置成对预训练的教师模型进行不同程度的模型蒸馏，得到多个学生模型；得到单元，被配置成基于训练数据集中的训练数据，分别通过所述教师模型得到第一特征信息，通过所述多个学生模型得到第二特征信息；损失单元，被配置成根据所述第一特征信息和所述第二特征信息确定损失函数；更新单元，被配置成基于所述损失函数更新所述多个学生模型；确定单元，被配置成将训练后的多个学生模型确定为目标模型簇。7.根据权利要求6所述的装置，其中，所述损失单元，进一步被配置成：根据所述教师模型的第一特征信息和每个学生模型的第二特征信息之间的损失函数，得到总损失函数；以及所述更新单元，进一步被配置成：根据所述总损失函数，更新所述多个学生模型。8.根据权利要求6所述的装置，其中，所述蒸馏单元，进一步被配置成：2CN114186681A权利要求书2/2页对所述教师模型中用于特征提取的卷积通道分别进行不同程度的减少，得到所述多个学生模型。9.根据权利要求6‑8中任一项所述的装置，其中，还包括：适配单元，被配置成根据用于部署模型的目标芯片的算力，确定所述目标模型簇中适配于所述目标芯片的目标学生模型。10.根据权利要求6‑8中任一项所述的装置，其中，所述教师模型为人脸识别模型；以及还包括：训练单元，被配置成通过如下方式训练得到所述人脸识别模型：获取训练样本集，其中，所述训练样本集中的训练样本包括样本人脸图像和分类标签；利用机器学习方法，以训练样本中的样本人脸图像为输入，以所输入的样本人脸图像对应的分类标签为期望输出，训练得到所述人脸识别模型。11.一种电子设备，其特征在于，包括：至少一个处理器；以及与所述至少一个处理器通信连接的存储器；其中，所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使