预览加载中,请您耐心等待几秒...
1/10
2/10
3/10
4/10
5/10
6/10
7/10
8/10
9/10
10/10

亲,该文档总共19页,到这已经超出免费预览范围,如果喜欢就直接下载吧~

如果您无法下载资料,请参考说明:

1、部分资料下载需要金币,请确保您的账户上有足够的金币

2、已购买过的文档,再次下载不重复扣费

3、资料包下载后请先用软件解压,在使用对应软件打开

(19)中华人民共和国国家知识产权局(12)发明专利申请(10)申请公布号CN111563591A(43)申请公布日2020.08.21(21)申请号202010383356.3(22)申请日2020.05.08(71)申请人北京百度网讯科技有限公司地址100085北京市海淀区上地十街10号百度大厦2层(72)发明人希滕张刚温圣召(74)专利代理机构北京英赛嘉华知识产权代理有限责任公司11204代理人王达佐马晓亚(51)Int.Cl.G06N3/08(2006.01)G06N3/04(2006.01)权利要求书3页说明书11页附图4页(54)发明名称超网络的训练方法和装置(57)摘要本申请涉及人工智能领域,公开了超网络的训练方法和装置。该方法包括:获取样本数据;将待训练的超网络作为初始的当前超网络,迭代执行多次裁剪训练操作直到当前超网络的各个特征提取层保留的连接数均为1;响应于确定裁剪完成的超网络未达到预设的收敛条件,基于样本数据对裁剪完成的超网络进行训练;裁剪训练操作包括:对当前超网络进行训练;利用训练后的当前超网络对图像数据进行特征提取得到第一特征图;对训练后的超网络中的特征提取层分别进行N次裁剪,利用裁剪后的超网络分别对图像数据进行特征提取得到N组第二特征图;确定与第一特征图的距离最小的一组第二特征图对应的裁剪后的超网络为新的当前超网络。该方法提升了超网络的准确性。CN111563591ACN111563591A权利要求书1/3页1.一种超网络的训练方法,包括:获取样本数据;将待训练的超网络作为初始的当前超网络,迭代执行多次裁剪训练操作,直到所述当前超网络的各个特征提取层保留的连接数均为1,得到裁剪完成的超网络;响应于确定所述裁剪完成的超网络未达到预设的收敛条件,基于样本数据对所述裁剪完成的超网络进行训练;其中,所述裁剪训练操作包括:基于样本数据对当前超网络进行训练;利用训练后的当前超网络对待处理的图像数据进行特征提取,得到第一特征图;针对训练后的所述当前超网络的每一个特征提取层,确定所述特征提取层包含的连接数量N,对所述训练后的超网络中的所述特征提取层分别进行N次裁剪,得到N个裁剪后的超网络,并利用N个裁剪后的超网络分别对待处理的图像数据进行特征提取,得到对应的N组第二特征图,其中每一次裁剪中分别裁剪所述特征提取层包含的N个连接中的一个;确定所述N组第二特征图中与所述第一特征图之间的距离最小的一组第二特征图对应的裁剪后的超网络为新的当前超网络;响应于确定所述新的当前超网络中的所述特征提取层的连接数量大于1,执行下一次裁剪训练操作。2.根据权利要求1所述的方法,其中,所述方法还包括:响应于确定所述裁剪完成的超网络达到预设的收敛条件且所述裁剪完成的超网络中各个特征提取层的连接数均为1,基于所述裁剪完成的超网络的各个特征提取层构建目标神经网络模型。3.根据权利要求1所述的方法,其中,所述裁剪训练操作还包括:响应于确定所述新的当前超网络中的所述特征提取层的连接数量为1,保存所述新的当前超网络中的所述特征提取层中的连接对应的权重参数;以及所述基于样本数据对所述裁剪完成的超网络进行训练,包括:将所述裁剪完成的超网络中的各个特征提取层中的连接对应的权重参数作为所述裁剪完成的超网络中的初始权重参数,基于所述样本数据对所述裁剪完成的超网络中的权重参数进行迭代更新。4.根据权利要求1所述的方法,其中,所述裁剪训练操作还包括:确定所述N组第二特征图中与所述第一特征图之间的距离最小的一组第二特征图为目标第二特征图,保存所述目标第二特征图对应的裁剪后的超网络中被裁剪掉的一个连接对应的权重参数。5.根据权利要求4所述的方法,其中,所述方法还包括:根据保存的所述待训练的超网络的各个特征提取层中被裁剪掉的连接对应的权重参数、以及所述裁剪完成的超网络中各个特征提取层被保留的连接在所述裁剪完成的超网络训练完成后对应的权重参数,生成训练完成的超网络。6.一种超网络的训练方法装置,包括:获取单元,被配置为获取样本数据;第一训练单元,被配置为将待训练的超网络作为初始的当前超网络,迭代执行多次裁2CN111563591A权利要求书2/3页剪训练操作,直到所述当前超网络的各个特征提取层保留的连接数均为1,得到裁剪完成的超网络;第二训练单元,被配置为响应于确定所述裁剪完成的超网络未达到预设的收敛条件,基于样本数据对所述裁剪完成的超网络进行训练;其中,所述第一训练单元包括:训练子单元,被配置为执行所述裁剪训练操作中的如下步骤:基于样本数据对当前超网络进行训练;特征提取子单元,被配置为执行所述裁剪训练操作中的如下步骤:利用训练后的当前超网络对待处理的图像数据进行特征提取,得到第一特征图;裁剪子单元,被配置为执行所述裁剪训练操作中的如下步骤:针对训练后的所述当前超网络的每