预览加载中,请您耐心等待几秒...
1/10
2/10
3/10
4/10
5/10
6/10
7/10
8/10
9/10
10/10

亲,该文档总共18页,到这已经超出免费预览范围,如果喜欢就直接下载吧~

如果您无法下载资料,请参考说明:

1、部分资料下载需要金币,请确保您的账户上有足够的金币

2、已购买过的文档,再次下载不重复扣费

3、资料包下载后请先用软件解压,在使用对应软件打开

(19)中华人民共和国国家知识产权局(12)发明专利申请(10)申请公布号CN113705628A(43)申请公布日2021.11.26(21)申请号202110903956.2(22)申请日2021.08.06(71)申请人北京百度网讯科技有限公司地址100085北京市海淀区上地十街10号百度大厦2层(72)发明人希滕曹璨张刚(74)专利代理机构北京清亦华知识产权代理事务所(普通合伙)11201代理人张梦瑶(51)Int.Cl.G06K9/62(2006.01)G06N20/00(2019.01)权利要求书2页说明书11页附图4页(54)发明名称预训练模型的确定方法、装置、电子设备以及存储介质(57)摘要本公开提供了预训练模型的确定方法、装置、电子设备以及存储介质,涉及计算机视觉和深度学习技术领域,可应用于图像处理、图像识别等场景。具体实现方案为:获取多种候选模型;根据多种候选模型的模型结构进行结构编码,以得到各候选模型的结构编码;采用经过训练的编码器将各候选模型的结构编码映射得到对应的频域编码;根据各候选模型的频域编码,预测各候选模型的模型性能参数;根据各候选模型的模型性能参数,从多种候选模型中确定目标模型作为预训练模型。由此,通过根据多种候选模型的频域编码,从多种候选模型中确定目标模型作为预训练模型,能够减少后续对预训练模型进行训练的训练成本,提高训练效率。CN113705628ACN113705628A权利要求书1/2页1.一种预训练模型的确定方法,包括:获取多种候选模型;根据所述多种候选模型的模型结构进行结构编码,以得到各所述候选模型的结构编码;采用经过训练的编码器将各所述候选模型的结构编码映射得到对应的频域编码;根据各所述候选模型的频域编码,预测各所述候选模型的模型性能参数;根据各所述候选模型的模型性能参数,从多种所述候选模型中确定目标模型作为预训练模型。2.根据权利要求1所述的方法,还包括:将作为训练样本的样本结构编码输入所述编码器,得到所述编码器输出的预测频域编码;将所述预测频域编码输入所述解码器;根据所述解码器的输出与所述样本结构编码之间的差异,对所述编码器和所述解码器进行训练。3.根据权利要求2所述的方法,其中,所述将作为训练样本的样本结构编码输入所述编码器,得到所述编码器输出的预测频域编码,包括:将作为所述训练样本的样本结构编码输入所述编码器进行至少二维编码,以得到所述编码器输出的至少二维的预测频域编码。4.根据权利要求1‑3任一项所述的方法,其中,所述获取多种候选模型,包括:将模型集合中的特征提取模型进行组合,得到所述多种候选模型。5.根据权利要求1‑3任一项所述的方法,其中,所述根据各所述候选模型的频域编码,预测各所述候选模型的模型性能参数,包括:根据待执行的任务,确定目标相关函数;分别将各所述候选模型的频域编码代入所述目标相关函数,以得到各所述候选模型的模型性能参数。6.一种预训练模型的确定装置,包括:获取模块,用于获取多种候选模型;编码模块,用于根据所述多种候选模型的模型结构进行结构编码,以得到各所述候选模型的结构编码;映射模块,用于采用经过训练的编码器将各所述候选模型的结构编码映射得到对应的频域编码;预测模块,用于根据各所述候选模型的频域编码,预测各所述候选模型的模型性能参数;确定模块,用于根据各所述候选模型的模型性能参数,从多种所述候选模型中确定目标模型作为预训练模型。7.根据权利要求6所述的装置,还包括:第一处理模块,用于将作为训练样本的样本结构编码输入所述编码器,得到所述编码器输出的预测频域编码;第二处理模块,用于将所述预测频域编码输入所述解码器;2CN113705628A权利要求书2/2页训练模块,用于根据所述解码器的输出与所述样本结构编码之间的差异,对所述编码器和所述解码器进行训练。8.根据权利要求7所述的装置,其中,所述第一处理模块,包括:处理单元,用于将作为所述训练样本的样本结构编码输入所述编码器进行至少二维编码,以得到所述编码器输出的至少二维的预测频域编码。9.根据权利要求6‑8任一项所述的装置,其中,所述获取模块,包括:组合单元,用于将模型集合中的特征提取模型进行组合,得到所述多种候选模型。10.根据权利要求6‑8任一项所述的装置,其中,所述预测模块,包括:确定单元,用于根据待执行的任务,确定目标相关函数;获取单元,用于分别将各所述候选模型的频域编码代入所述目标相关函数,以得到各所述候选模型的模型性能参数。11.一种电子设备,包括:至少一个处理器;以及与所述至少一个处理器通信连接的存储器;其中,所述存储器存储有可被所述至少一个处理器执行的指令,所述指令被所述至少一个处理器执行,以使所述至少一个处理器能够执行权利要求1‑5中任一项所述的方法。12.一种存储有计算机指令的非瞬时计算