预训练模型的生成方法、装置、电子设备和存储介质.pdf

(19)中华人民共和国国家知识产权局(12)发明专利申请(10)申请公布号CN113657466A(43)申请公布日2021.11.16(21)申请号202110866808.8(22)申请日2021.07.29(71)申请人北京百度网讯科技有限公司地址100085北京市海淀区上地十街10号百度大厦2层(72)发明人希滕张刚(74)专利代理机构北京清亦华知识产权代理事务所(普通合伙)11201代理人张梦瑶(51)Int.Cl.G06K9/62(2006.01)G06K9/46(2006.01)权利要求书3页说明书11页附图5页(54)发明名称预训练模型的生成方法、装置、电子设备和存储介质(57)摘要本公开提出了一种预训练模型的生成方法、装置、电子设备和存储介质，涉及人工智能技术领域，尤其涉及计算机视觉和深度学习技术领域，可应用于图像处理、图像识别等场景。方案为：对包含多个模型的超网络执行对应的训练任务，从训练后的超网络中选取部分模型进行模型组合得到多组候选模型组合，采用第一图像集测试各组候选模型组合，以得到各组候选模型组合对第一图像集进行特征提取时所关注的关注图像区域，根据各组候选模型组合的关注图像区域的面积，从多组候选模型组合中选取目标模型组合，根据目标模型组合生成预训练模型，本公开中根据各组候选模型组合关注图像区域的面积大小，筛选确定目标模型组合，以提高预训练过程中模型组合的精度。CN113657466ACN113657466A权利要求书1/3页1.一种预训练模型的生成方法，包括：对超网络执行对应的训练任务，以得到训练后的超网络；其中，所述超网络中包含多个模型；从所述训练后的超网络中选取至少部分模型进行模型组合，得到多组候选模型组合；采用第一图像集测试各组所述候选模型组合，以得到各组所述候选模型组合对第一图像集进行特征提取时所关注的关注图像区域；根据各组所述候选模型组合的关注图像区域的面积，从多组候选模型组合中选取目标模型组合；根据所述目标模型组合生成预训练模型。2.根据权利要求1所述的方法，其中，所述采用第一图像集测试各组所述候选模型组合，以得到各组所述候选模型组合对第一图像集进行特征提取时所关注的关注图像区域，包括：对任意的一候选模型组合，将所述第一图像集内的图像作为输入图像，输入所述一候选模型组合中的各模型，以得到各模型输出的特征；根据各所述模型输出的特征，确定各所述模型的损失函数；根据各所述模型的损失函数相对所述输入图像的偏导，得到各所述模型的损失函数随输入图像中各图像区域内容变化的变化程度；根据各所述模型的损失函数随输入图像中各图像区域内容变化的变化程度，确定各所述模型的关注图像区域；根据各所述模型的关注图像区域，确定所述一候选模型组合的关注图像区域。3.根据权利要求2所述的方法，其中，所述根据各所述模型的关注图像区域，确定所述一候选模型组合的关注图像区域，包括：将各所述模型的关注图像区域的并集，确定为所述一候选模型组合的关注图像区域。4.根据权利要求1所述的方法，其中，所述根据各组所述候选模型组合的关注图像区域的面积，从多组候选模型组合中选取目标模型组合，包括：从各组所述候选模型组合中，选取面积最大的候选模型组合；将所述面积最大的候选模型组合作为所述目标模型组合。5.根据权利要求4所述的方法，其中，所述将所述面积最大的候选模型组合作为所述目标模型组合之前，还包括：获取所述面积最大的候选模型组合对第一图像集进行特征提取所需的计算时延；确定所述面积最大的候选模型组合的计算时延小于或等于设定时长。6.根据权利要求1‑5任一项所述的方法，其中，所述超网络为多个；所述对超网络执行对应的训练任务，以得到训练后的超网络，包括：将第二样本集内的训练样本输入各所述超网络；对各所述超网络输出的特征进行融合，得到融合特征；根据所述融合特征执行多种训练任务，得到各训练任务的预测信息；根据各所述训练任务的所述预测信息，与对应训练任务的所述标准信息之间的差异，确定各所述训练任务的损失函数值；对各所述训练任务的损失函数值加权求和，以及各所述超网络对所述第二样本集进行2CN113657466A权利要求书2/3页特征提取时所关注的关注图像区域面积，得到总损失函数值；根据所述总损失函数值，更新各所述超网络的参数。7.根据权利要求1‑5任一项所述的方法，其中，所述超网络为多个，各所述超网络具有对应的训练任务；所述对超网络执行对应的训练任务，以得到训练后的超网络，包括：将第三样本集内的训练样本输入各所述超网络，以得到各所述超网络输出的特征；根据各所述超网络输出的特征执行对应的训练任务，得到各所述训练任务的预测信息；根据各所述训练任务的所述预测信息，与对应训练任务的所述标准信息之间的差异，确定各所述训练任务的损失函数值；根据各所述训练任务的损失函数值，