预览加载中,请您耐心等待几秒...
1/10
2/10
3/10
4/10
5/10
6/10
7/10
8/10
9/10
10/10

亲,该文档总共28页,到这已经超出免费预览范围,如果喜欢就直接下载吧~

如果您无法下载资料,请参考说明:

1、部分资料下载需要金币,请确保您的账户上有足够的金币

2、已购买过的文档,再次下载不重复扣费

3、资料包下载后请先用软件解压,在使用对应软件打开

(19)国家知识产权局(12)发明专利申请(10)申请公布号CN115017377A(43)申请公布日2022.09.06(21)申请号202210935432.6(22)申请日2022.08.05(71)申请人深圳比特微电子科技有限公司地址518000广东省深圳市南山区高新南六道航盛科技大厦801(72)发明人陈志轩杨敏杨作兴艾国(74)专利代理机构中国贸促会专利商标事务所有限公司11038专利代理师於菪珉(51)Int.Cl.G06F16/903(2019.01)G06N3/04(2006.01)G06N3/08(2006.01)权利要求书4页说明书17页附图6页(54)发明名称用于搜索目标模型的方法、装置和计算设备(57)摘要本公开涉及一种用于搜索目标模型的方法、装置和计算设备。该方法包括:构建超网络;分别对超网络的最大子网络和最小子网络进行训练,以产生经训练的最大子网络和经训练的最小子网络;基于经训练的最大子网络和经训练的最小子网络,对超网络的第一预设数目的第一子网络进行训练;以及在经训练的超网络中进行搜索以确定符合目标硬件设备的性能参数条件的目标量化子网络的量化网络结构,并根据目标量化子网络产生目标模型。CN115017377ACN115017377A权利要求书1/4页1.一种用于搜索被配置为在目标硬件设备上运行的目标模型的方法,其特征在于,所述方法包括:构建超网络,其中,所述超网络的多个网络结构参数中的每个网络结构参数的值被选择为候选参数空间中该网络结构参数的最大值,所述超网络的子网络的多个网络结构参数中的每个网络结构参数的值被选择为所述候选参数空间中该网络结构参数的任一值;分别对所述超网络的最大子网络和最小子网络进行训练,以产生经训练的最大子网络和经训练的最小子网络,其中,所述最大子网络为所述超网络,所述最小子网络的多个网络结构参数中的每个网络结构参数的值被选择为所述候选参数空间中该网络结构参数的最小值;基于所述经训练的最大子网络和所述经训练的最小子网络,对所述超网络的第一预设数目的第一子网络进行训练,其中,所述第一子网络不同于所述最大子网络和所述最小子网络;以及在所述经训练的超网络中进行搜索以确定符合所述目标硬件设备的性能参数条件的目标量化子网络的量化网络结构,并根据所述目标量化子网络产生目标模型,其中,量化网络结构包括与量化子网络相应的子网络的多个网络结构参数和所述量化子网络的量化参数。2.根据权利要求1所述的方法,其特征在于,所述多个网络结构参数包括卷积核尺寸、阶段深度和通道扩张比例系数中的至少一者。3.根据权利要求1所述的方法,其特征在于,对所述最大子网络的训练和对所述最小子网络的训练是彼此独立进行的。4.根据权利要求1所述的方法,其特征在于,基于所述经训练的最大子网络和所述经训练的最小子网络,对所述超网络的第一预设数目的第一子网络进行训练包括:对所述超网络进行随机采样以获取第一预设数目的第一子网络;以及针对每个第一子网络,将所述经训练的最小子网络的参数作为所述第一子网络的相应的参数的初始化值,并将所述经训练的最大子网络作为所述第一子网络的教师网络,对作为学生网络的所述第一子网络进行蒸馏训练。5.根据权利要求4所述的方法,其特征在于,将所述经训练的最小子网络的参数作为所述第一子网络的相应的参数的初始化值,并将所述经训练的最大子网络作为所述第一子网络的教师网络,对作为学生网络的所述第一子网络进行蒸馏训练包括:针对所述学生网络的至少一个阶段中的至少一个块,抽取所述教师网络的相应一个阶段中的相应一个块内的深度卷积之后的特征用于特征蒸馏,计算特征蒸馏损失函数;针对所述学生网络的至少一个阶段,抽取所述教师网络的相应一个阶段的末尾的软标签用于目标蒸馏,计算目标蒸馏损失函数;根据所述学生网络和硬标签计算交叉熵损失函数;根据所述特征蒸馏损失函数、所述目标蒸馏损失函数和所述交叉熵损失函数,计算总损失函数;以及基于所述总损失函数对所述学生网络进行更新,直至完成所述蒸馏训练。6.根据权利要求1所述的方法,其特征在于,在所述经训练的超网络中进行搜索以确定符合预设条件的目标量化子网络的量化网络结构包括:2CN115017377A权利要求书2/4页根据所述经训练的超网络获取量化精度预测器,其中,所述量化精度预测器被配置为根据量化子网络的量化网络结构来确定所述量化子网络的预测精度;以及利用所述量化精度预测器在所述经训练的超网络中进行搜索以确定符合预设条件的目标量化子网络的量化网络结构。7.根据权利要求6所述的方法,其特征在于,根据所述经训练的超网络获取量化精度预测器包括:对所述经训练的超网络进行随机采样以获取第二预设数目的第二子网络,并根据所述经训练的超网络计算每个第二子网络的预测精度;根据所述第二预设数目的第二子网络的网络结构和预测