基于代理辅助进化算法的卷积神经网络结构优化方法.pdf

(19)国家知识产权局(12)发明专利申请(10)申请公布号CN115879509A(43)申请公布日2023.03.31(21)申请号202211449687.8G06V10/82(2022.01)(22)申请日2022.11.18(71)申请人西安电子科技大学地址710071陕西省西安市太白南路2号(72)发明人王晗丁刘勇存(74)专利代理机构陕西电子工业专利中心61205专利代理师陈宏社王品华(51)Int.Cl.G06N3/0464(2023.01)G06N3/048(2023.01)G06N3/08(2023.01)G06N3/006(2023.01)G06V10/764(2022.01)G06V10/776(2022.01)权利要求书4页说明书8页附图2页(54)发明名称基于代理辅助进化算法的卷积神经网络结构优化方法(57)摘要本发明公开了一种基于代理辅助进化算法的卷积神经网络结构优化方法，用于现有技术中存在的网络预测性能提升有限和优化效率较低的技术问题，实现步骤为：获取训练样本集和验证样本集；获取卷积神经网络的结构参数；初始化参数样本集和验证准确率集；基于代理辅助进化算法对结构参数进行优化。本发明采用全局或局部代理辅助的混合进化算法对结构参数进行全局优化，可以兼顾优化过程中的探索与开发，能提高优化的搜索能力，从而搜索到更好的结构参数，进而显著提升优化后的卷积神经网络预测性能，使用代理模型对验证准确率进行预测，替代进化优化过程中评估时所需的大量昂贵耗时的训练和验证，节约大量计算资源以及评估时间，提升优化效率。CN115879509ACN115879509A权利要求书1/4页1.一种基于代理辅助进化算法的卷积神经网络结构优化方法，其特征在于，包括如下步骤：(1)获取训练样本集和验证样本集：获取包括C类别的M幅图像，并对每幅图像的类别进行标注，然后将V幅图像及其对应的标签组成训练图像样本集Dtrain，将其余M‑V幅图像及其对应的标签组成验证图像样本集Dval，其中，C≥2，M≥50000，V>M/2；(2)获取卷积神经网络的结构参数：获取包括A个卷积层、B个池化层、E个全连接层的卷积神经网络模型O的结构参数为s，s包括由A个卷积层卷积核的数量、前E‑1个全连接层神经元的数量和神经元随机失活率组成的连续型参数x，以及由A个卷积层卷积核的大小、使用的激活函数类型和B个池化层使用的池化函数类型组成的离散型参数z，其中，A≥1，B≥1，E≥2，x包含的参数数量为L＝A+2E‑2，z包含的参数数量为R＝2A+B；(3)初始化参数样本集和验证准确率集：对结构参数s进行N次随机采样，并将随机采样得到的参数样本集S1＝{s1,s2,...,sn,...,sN}中的每一个参数样本sn作为卷积神经网络模型O的结构参数取值得到卷积神经网络然后将训练图像样本集Dtrain作为卷积神经网络的输入进行e次迭代训练，再将验证图像样本集Dval作为训练好的卷积神经网络的输入对验证图像样本的类别进行预测，并计算预测类别与真实标签一致的样本数量与验证图像样本总数量M‑V的比值作为sn对应的验证准确率fn，最后得到参数样本集S1对应的验证准确率集F1＝{f1,f2,...,fn,...,fN}，其中N≥100，sn表示第n个参数样本，fn表示sn对应的验证准确率，e≥10；(4)基于代理辅助进化算法对结构参数进行优化：(4a)初始化迭代次数为t，最大迭代次数为T，T≥200，多样性阈值为τ，0<τ<1，种群为Pt，并令t＝1，P1＝S1；(4b)计算当前种群Pt的多样性指标Rt，并判断Rt<τ是否成立，若是，执行步骤(4c)，否则，执行步骤(4d)；(4c)采用全局代理辅助混合进化算法对结构参数s进行全局优化，并将优化后的结构参数作为卷积神经网络模型O的结构参数取值得到卷积神经网络然后将训练图像样本集Dtrain作为卷积神经网络的输入进行e次迭代训练，再将验证图像样本集Dval作为训练好的卷积神经网络的输入对验证图像样本的类别进行预测，最后计算预测类别与真实t标签一致的样本数量与验证图像样本总数量M‑V的比值作为对应的验证准确率f1，更新t参数样本集S't和对应的验证准确率集Ft'，Ft'＝Ft‑1∪{f1}，并执行步骤(4e)；(4d)采用局部代理辅助分布估计算法对结构参数s进行局部优化，并将优化后的结构参数作为卷积神经网络模型O的结构参数取值得到卷积神经网络然后将训练图像样本集Dtrain作为卷积神经网络的输入进行e次迭代训练，再将验证图像样本集Dval作为训2CN115879509A权利要求书2/4页练好的卷积神经网络的输入对验证图像样本的类别进行预测，最后计算预测类别与真实标签一致的样本数量与验证图像样本总数量M‑V的比值作为对应的验证准确率并更