一种基于精英和自适应进化算法的神经网络结构搜索方法.pdf

(19)国家知识产权局(12)发明专利申请(10)申请公布号CN115392430A(43)申请公布日2022.11.25(21)申请号202210789777.5(22)申请日2022.07.05(71)申请人华南农业大学地址510640广东省广州市天河区五山路483号(72)发明人杨磊祝彬杰罗雄文梁淑敏(74)专利代理机构佛山市君创知识产权代理事务所(普通合伙)44675专利代理师张燕玲(51)Int.Cl.G06N3/04(2006.01)G06N3/08(2006.01)G06N3/12(2006.01)权利要求书1页说明书6页附图3页(54)发明名称一种基于精英和自适应进化算法的神经网络结构搜索方法(57)摘要一种基于精英和自适应进化算法的神经网络结构搜索方法，包括：S1、确定搜索空间；S2、将原始子网络的超参数编码为参数解；S3、确定个体和种群；S4、种群中基于第一评价指标和第二评价指标选择出多个精英个体并且分别存储在一个指导进化集和一个外部档案中；S5、基于进化算法使种群繁衍，将繁衍出的个体解码成优化子网络，将所有优化子网络组成过渡神经网络；S6、将测试样本输入到优化子网络中更新优化子网络的目标函数值；S7、当进化算法繁衍次数达到设置次数时终止并且输出种群；S8、将输出的种群中的个体解码为最终子网络，并且利用所有最终子网络组成为完整神经网络。本发明能够提高神经网络结构搜索过程的效率，并且实现难度低。CN115392430ACN115392430A权利要求书1/1页1.一种基于精英和自适应进化算法的神经网络结构搜索方法，其特征在于，包括如下步骤：S1、确定搜索空间，搜索空间包括多个结构不同的原始子网络；S2、将原始子网络的超参数编码为参数解；S3、将测试样本输入到由参数解确定的原始子网络中获得若干个目标函数值，将由参数解确定的原始子网络作为个体，目标函数值为个体的目标值，所有个体构成种群；S4、种群中基于第一评价指标和第二评价指标选择出多个精英个体并且分别存储在一个指导进化集和一个外部档案中；S5、基于进化算法使种群繁衍，将繁衍出的个体解码成优化子网络，并且按照反转世代距离指标(IGD指标)从小到大的顺序将所有优化子网络组成过渡神经网络；S6、将测试样本输入到优化子网络中更新优化子网络的目标函数值，并且将指导进化集和外部档案中的精英个体的后代加入到种群中；S7、当进化算法繁衍次数达到设置次数时终止并且输出种群，否则返回S5；S8、将输出的种群中的个体解码为最终子网络，并且利用所有最终子网络组成为完整神经网络。2.如权利要求1所述的一种基于精英和自适应进化算法的神经网络结构搜索方法，其特征在于，S5中，当外部档案中的精英个体数量到达容量上限后对外部档案进行选择更新。3.如权利要求2所述的一种基于精英和自适应进化算法的神经网络结构搜索方法，其特征在于，S5和S6中，种群每繁衍出一代后以及外部档案中的精英个体数量达到容量上限后均通过环境选择进行选择更新。4.如权利要求1所述的一种基于精英和自适应进化算法的神经网络结构搜索方法，其特征在于，S6中，将种群繁衍的过程划分为依次进行的探索阶段、过渡阶段和开发阶段，探索阶段、过渡阶段和开发阶段中繁衍出的后代的数量逐渐减小。5.如权利要求4所述的一种基于精英和自适应进化算法的神经网络结构搜索方法，其特征在于，S6中，将指导进化集中的精英个体的后代指定为指导后代、将外部档案中的精英个体的后代指定为档案后代、将种群中非精英个体的后代指定为随机后代，在探索阶段中指导后代的数量大于档案后代的数量和随机后代的数量，在过渡阶段指导后代、档案后代和随机后代的数量相等，在开发阶段只包括指导后代。6.如权利要求4所述的一种基于精英和自适应进化算法的神经网络结构搜索方法，其特征在于，探索阶段、过渡阶段和开发阶段中繁衍的交叉变异率逐渐升高。7.如权利要求1所述的一种基于精英和自适应进化算法的神经网络结构搜索方法，其特征在于，S5的具体方法包括：S51、将种群中的个体按照反转世代距离指标(IGD指标)从小到大排序；S52、将个体解码为优化子网络；S53、基于S41中的顺序将优化子网络按照由浅层到深层的方式组合成过渡神经网络；S54、将测试样本输入过渡神经网络中更新种群个体的目标函数值。2CN115392430A说明书1/6页一种基于精英和自适应进化算法的神经网络结构搜索方法技术领域[0001]本发明涉及神经网络技术领域，具体的说是一种基于精英和自适应进化算法的神经网络结构搜索方法。背景技术[0002]近年来，随着深度学习的快速发展，神经网络在图像分类，目标检测和机器翻译等任务上取得了很好的效果。然而，现实生活中的需要处理的问题往往是很复杂的，为了应对这一情况，研究人员根据专业知识和相关数据集进行大量重复的