改进遗传算子的粒子群神经网络及应用.doc

改进遗传算子的粒子群神经网络及应用

摘要：为解决神经网络训练中易出现的收敛速度缓慢、陷入局部极小点等问题，提出了一种新的带自适应遗传算子的粒子群神经网络训练算法。通过概率控制，在利用粒子群算法优化神经网络的同时，自适应地对备选粒子进行选择、交叉、变异等遗传操作，最后用异或法进行检验。试验结果显示，本算法继承了遗传算法全局搜索和粒子群算法收敛速度快的优点，能在较少的训练步数内，达到较高的收敛精度，且样本分类正确率较BP算法、遗传算法、粒子群算法有显著提高。
关键词：自适应；遗传算子；粒子群；神经网络

ANNTrainedByPSOwithImprovedGeneticOperatorandItsApplication

Abstract:Anewparticleswarmoptimizationalgorithmwithadaptivegeneticoperator(GA-PSO)fortrainingANNwasproposedtosolvetheproblemsappearedinthetrainofartificialneuralnetwork(ANN)suchasthelocalminimum’sbasinofattractionandlowspeed.Controlledbyprobability,theparticleswereoperatedbygeneticoperatorwhenANNistrainedbyPSOalgorithm.ThisnewalgorithmwastestedwithXOR.TheresultshowsthattheneuralnetworktrainedbyGA-PSOalgorithmneedsleastamountsofiterationsandachievesthebettertrainingaccuracythanBPalgorithm,GAandPSOalgorithm.
Keywords:adaptive;geneticoperator;PSO(particleswarmoptimization);ANN(artificialneuralnetwork)

引言人工神经网络具有自学习、自组织和非线性映射等特点，从诞生至今已在众多领域取得了令人鼓舞的进展。然而神经网络上述的诸多优点，很大程度上依赖于网络结构和参数的充分训练，因此训练算法的优劣决定了神经网络的性能。
粒子群优化算法（PSO）是一种基于群集智能的算法，它通过模拟鸟群或鱼群的觅食行为，通过单个粒子之间的信息共享，寻找复杂搜索空间的最优点。利用PSO训练神经网络的结构和参数具有很快的训练收敛速度，训练精度较高。但是基本粒子群算法在训练后期易陷入局部极小值点，目前研究人员已经开发了大量的改进粒子群优化算法，这些改进算法各有优缺点。
针对上述问题，本文提出了一种带自适应遗传算子的粒子群优化神经网络算法(GA-PSO)，通过概率控制，自适应地使训练前期充分发挥粒子群优化算法搜索速度快的优点，训练后期以接近1的概率利用遗传算子对粒子进行遗传操作，避免陷入局部极小值点。实际应用结果显示，本算法无论是训练精度，还是收敛速度，都明显优于基于粒子群算法和遗传算法这两种独立的神经网络训练算法。

1PSO算法及其在神经网络中的应用

1.1PSO算法
PSO算法最初是由Kennedy和Eberhart于1995年提出的一种进化算法，在PSO系统中，每个备选解被称为一个“粒子”，每个粒子在搜索时，根据自己搜索到的历史最优位置和群体最优位置进行位置更新；多个粒子共存、合作寻优，搜索最优解。
粒子群优化算法的数学抽象和实现步骤如下：
假设在一个D维的目标搜索间，由m个粒子组成一个群体，第i个粒子的位置向量表示为，速度向量表示为，它经历过的最好的位置(即对应于最大的适应度)记为，也称为个体极值pbest。整个群体所有粒子经历过的最好的位置记为，也称为全局极值gbest。每一次迭代，各个粒子的速度向量和位置向量由个体极值。和全局极值gbest来实现更新：
(1)
(2)
式中，为常数，称为加速因子，表示粒子向pbest和gbest变化的速度变化，数值越大，则微粒向pbest和gbest运动的加速度越大；w为惯性因子，表示当前速度对下一代速度的影响权重，为保证PSO算法的收敛性和稳定性，加速因子，惯性因子w=0.729；为[0，1]区间内的随机数；微粒的速度和位置分别被最大速度和最大位置所限制，以免微粒跑到可行解的范围之外进行搜索。粒子群初始位置和速度随机产生，然后按迭代公式进行迭代，直到找到满意解。

1.2PSO算法在神经网络训练中的应用
现假设粒子规模为N，每个粒子的位置即是需要优化的神经网络的参数，各粒子的适应度评价函数为