超网络训练方法和装置.pdf

(19)中华人民共和国国家知识产权局(12)发明专利申请(10)申请公布号CN110288084A(43)申请公布日2019.09.27(21)申请号201910492314.0(22)申请日2019.06.06(71)申请人北京小米智能科技有限公司地址100085北京市海淀区清河朱房路临66号F栋2单元1层101-103室(72)发明人初祥祥许瑞军张勃李吉祥李庆源(74)专利代理机构北京名华博信知识产权代理有限公司11453代理人姜超苗源(51)Int.Cl.G06N3/04(2006.01)G06N3/08(2006.01)权利要求书2页说明书7页附图6页(54)发明名称超网络训练方法和装置(57)摘要本公开是关于一种超网络训练方法和装置。涉及智能神经网络技术，解决了子结构受训练程序不均匀导致评估子网络指标出现误差的问题。该方法包括：对超网络进行多轮子网络采样以获取多个子网络，对于所述超网络的任一层，不同子网络在采样时选择的子结构不同；对采样得到的所述多个子网络进行训练，更新所述超网络。本发明提供的技术方案适用于神经网络训练，实现了准确、高效的超网络训练机制。CN110288084ACN110288084A权利要求书1/2页1.一种超网络训练方法，其特征在于，包括：对超网络进行多轮子网络采样以获取多个子网络，对于所述超网络的任一层，不同子网络在采样时选择的子结构不同；对采样得到的所述多个子网络进行训练，更新所述超网络。2.根据权利要求1所述的超网络训练方法，其特征在于，采样得到的子网络数量与所述超网络每层中子结构的数量相同。3.根据权利要求1或2所述的超网络训练方法，其特征在于，对超网络进行多轮子网络采样以获取多个子网络的步骤包括：步骤一、自所述超网络第一层起至最后一层，逐层从每层的采样池中取出一个子结构，取出后的子结构不再放回所述采样池；步骤二、将自每层选择的子结构连接起来，组成一个子网络；重复步骤一至步骤二的过程，以获取多个子网络。4.根据权利要求3所述的超网络训练方法，其特征在于，在采样得到的子网络数量与所述超网络每层中子结构的数量相同的情况下，对超网络进行多轮子网络采样以获取多个子网络的步骤之后，还包括：将所述超网络所有层的所有子结构放回对应的各层的采样池。5.根据权利要求1所述的超网络训练方法，其特征在于，对采样得到的所述多个子网络进行训练，更新所述超网络的步骤包括：对所述多个子网络中的各个子网络分别进行一次训练；根据所述多个子网络的训练结果，更新所述超网络的参数。6.根据权利要求5所述的超网络训练方法，其特征在于，对所述多个子网络中的各个子网络分别进行一次训练的步骤包括：使用反射传播BP算法分别对所述多个子网络中的各个子网络进行训练。7.一种超网络训练装置，其特征在于，包括：不放回采样模块，被配置为对超网络进行多轮子网络采样以获取多个子网络，对于所述超网络的任一层，不同子网络在采样时选择的子结构不同；超网络训练模块，被配置为对采样得到的所述多个子网络进行训练，更新所述超网络。8.根据权利要求7所述的超网络训练装置，其特征在于，所述不放回采样模块包括：选择子模块，被配置为自所述超网络第一层起至最后一层，逐层从每层的采样池中取出一个子结构，取出后的子结构不再放回所述采样池；子网络组合子模块，被配置为将自每层选择的子结构连接起来，组成一个子网络；采样控制子模块，被配置为控制所述选择子模块和所述子网络组合子模块重复进行采样和组成子网络的操作，以获取多个子网络。9.根据权利要求8所述的超网络训练装置，其特征在于，该装置还包括：网络释放模块，被配置为在所述不放回采样模块采样得到的子网络数量与所述超网络每层中子结构的数量相同的情况下，将所述超网络所有层的所有子结构放回对应的各层的采样池。10.一种计算机装置，其特征在于，包括：处理器；2CN110288084A权利要求书2/2页用于存储处理器可执行指令的存储器；其中，所述处理器被配置为：对超网络进行多轮子网络采样以获取多个子网络，对于所述超网络的任一层，不同子网络在采样时选择的子结构不同；对采样得到的所述多个子网络进行训练，更新所述超网络。11.一种非临时性计算机可读存储介质，当所述存储介质中的指令由移动终端的处理器执行时，使得移动终端能够执行一种超网络训练方法，所述方法包括：对超网络进行多轮子网络采样以获取多个子网络，对于所述超网络的任一层，不同子网络在采样时选择的子结构不同；对采样得到的所述多个子网络进行训练，更新所述超网络。3CN110288084A说明书1/7页超网络训练方法和装置技术领域[0001]本公开涉及智能神经网络技术，尤其涉及一种超网络训练方法和装置。背景技术[0002]神经网络在各领域中得到广泛的应用，在某些领域例如神经网络架构搜索(NeuralArchi