基于PSO的BP神经网络研究.doc

基于PSO算法的BP神经网络研究杜华英基金项目：惠州学院科研基金项目（C206·0212）作者简介：杜华英（1975-）女江西樟树人惠州旅游学校信息技术部工程师工程硕士。（惠州旅游学校信息技术部广东惠州516057）摘要BP神经网络由于可以根据误差的反向传播来纠正权值和阈值所以在许多领域取得了成功但是它有可能陷入局部极小不能确保收敛到全局极小点。另外反向传播训练次数多收敛速度慢使学习结果有时不能令人满意。如果用均方误差指标作为适应值的粒子群算法对BP网络的权值进行训练会得到较快的收敛速度而且可以避免局部最值的出现。关键词神经网络；BP网络；PSO优化算法；均方差TheResearchingofBPNeuralNetworksBasedonPSODUHua-ying1（InformationTechnologyOfficeHuizhouTourismSchoolHuizhou516057China）AbstractForfeed-forwardneuralnetworkBPalgorithmisamongthemostimportantneuralnetworkalgorithms.ButBPalgorithmhasitslocalminimaitalsomayspendmuchtrainingtimeandtrainingepochsandmayalsogetnon-anticipantconvergence.HereBPneuralnetworkbasedonPSOcanreducethetrainingtimeandtrainingepochsandtheconvergenceisalsoimproved.KeywordsANN；BPneuralnetwork；ParticleSwarmOptimization(PSO)；mean-squareerror0引言人工神经网络（ArtificialNeuralNetworkANN）是模仿生物神经网络功能的一种经验模型。生物神经元受到传入的刺激其作出的反应又从输出端传到相连的其它神经元输入和输出之间的变换关系一般是非线性的。神经网络是由若干简单元件及其层次组织以大规模并行连接方式构造而成的网络按照生物神经网络类似的方式处理输入的信息。模仿生物神经网络而建立的人工神经网络对输入信号有功能强大的反应和处理能力。BP神经网络是一种多层前向反馈神经网络。BP网络可以根据误差的反向传播来纠正权值和阈值在许多领域取得了成功但是它有可能陷入局部极小不能保证收敛到全局极小点。另外反向传播训练次数多收敛速度慢使学习结果有时不能令人满意。粒子群优化算法（ParticleSwarmOptimizerPSO）是一种进化计算技术源于对鸟群捕食的行为研究由JimKennedy于1995年提出并成功用于函数优化。在PSO中每个优化问题的解都是搜索空间中的一只鸟称之为粒子。所有的粒子都有一个由被优化的函数决定的适应值（FitnessValue）每个粒子还有一个速度决定它们飞翔的方向和距离。然后粒子们就追随当前的最优粒子在解空间中搜索。如果用粒子群算法对神经网络的权值进行训练会得到较快的收敛速度而且可以避免局部最值的出现。1PSO算法PSO算法[1-3]首先初始化一群随机粒子然后通过迭代找出最优解。每一次迭代过程中粒子通过跟踪两个“极值”来更新自己。一个是粒子本身所能找到的最优解即个体极值Pbest另一个是整个群体目前找到的最优解即全局极值Gbest。假设在一个D维搜索空间中有n个粒子组成一粒子群。其中第i个粒子的空间位置为Xi=(Xi1Xi2…XiD)i=12…n。第i个粒子所经历的历史最佳位置为Pi=(Pi1Pi2…PiD)每个粒子的飞行速度为Vi=(Vi1Vi2…ViD)i=12…n。在整个粒子群中所有Pi所记录的最佳解位置为Pg=(Pg1Pg2…PgD)。每一代粒子的第d维（1≥d≥D）根据如下方程变化：Vij(t+1)=ω(t)Vij(t)+c1*rand()*(Pij(t)-Xij(t))+c2*rand()*(Pgj(t)-Xij(t))（1）Xij(t+1)=Xij(t)+Vij(t+1)（2）ω(t)=ωmax-t(ωmax-ωmin)/tmax（3）其中j=12…d；参数c1和c2分别是学习率称为加速因子；ra