基于遗传模拟退火算法优化的BP神经网络_吕琼帅.pdf

计算机与现代化
2011年第6期JISUANJIYUXIANDAIHUA总第190期

文章编号:1006-2475(2011)06-0091-04
基于遗传模拟退火算法优化的BP神经网络
吕琼帅,王世卿

(郑州大学信息工程学院,河南郑州450002)

摘要:在研究标准BP神经网络的基础上,针对其存在的收敛速度慢、且容易陷入局部极小值等问题进行分析,设计实现
一种采用数值优化的方法来改进BP网络性能的新的混合神经网络模型。通过引入遗传模拟退火算法扩大了网络的权
值更新空间,把得到最优权值赋予BP神经网络,从而使优化后的神经网络具有泛化性好,不易陷入局部极小值等优点。
与标准BP神经网络进行比较,仿真结果表明,该网络模型能够达到比较高的分类精度。
关键词:数值优化;遗传模拟退火算法;BP神经网络;权值;泛化性
中图分类号:TP183文献标识码:Ado:i10.3969/.jissn.1006-2475.2011.06.026

BPNeuralNetworkOptimizationAlgorithmBasedonGenetic-stimulatedAnnealing

LBQiong-shua,iWANGSh-iqing

(SchoolofInformationEngineering,ZhengzhouUniversity,Zhengzhou450002,China)

Abstract:AfterstudyingthedisadvantageofBPneuralnetworkwhichhaslowconvergentspeedandtrapintolocalminimaeasily,
anideaofdesigninganewhybridneuralnetworkmodelwhichadoptsthemethodofnumericaloptimizationispresented.Byusing
Genetic-StimulatedAnnealingalgorithm(GSA),expandstheupdatedspaceofweight.Onthebasis,itmakestheacquiredbetter
valueastheweightofBPneuralnetwork,andtheoptimizedBPnetworkisnoteasytotrapintothelocalminimaandhasgood
generalizationcharacteristic.MakingthecomparationGSAnetworkwithstandardBPnetwork,simulationanalysisdemonstrates
thatthisnetworkmodelcanattainhighercategoriesofprecision.
Keywords:numericaloptimization;genetic-stimulatedannealingalgorithm;BPneuralnetwork;weight;generalization

对网络在训练过程中的参数进行优化。因模拟
引言BP
0退火算法利用了群体智能行为的优点扩大了参数搜
近几年,BP神经网路是在人工智能领域应用最索的空间,并在多变量函数优化问题上比其它的群体
为广泛的关键技术之一。它是一种多层前馈人工神智能算法有更强的优化能力[8],同时利用适应度函
经网络模型,能够学习大量的模式映射关系,并从仿数来确定最优的权值,所以基于遗传模拟退火算法的
生学的角度模拟人脑的智能行为,广泛应用于模式识这些优点,本文给出一种新的混合神经网络模型,使
别、分类、预测[1-4]等领域,具有很强的自适应能力。优化后的BP网络具有泛化性好、不易陷入局部极小
但是,BP神经网络也存在易于陷入局部极小值、收敛值、分类精度较高等优点。
速度慢且易引起震荡等缺陷,为此人们提出了许多优
[5-7]1BP神经网络
化算法来改进标准的BP神经网络。由于目前提
出的优化算法大都采用诸如可变的学习速率、弹性算基于梯度下降法的BP(BackPropagation)网络是
法等启发式信息技术,优化后的算法虽在收敛速度方1986年由Rumelhart和McClelland提出的一种多层
面有所改善,但仍难以满足人们的应用需求。因此,网络模型,其核心是误差反向传播算法[9]。该标准
本文在研究分析BP网络和遗传模拟退火算法的基做法可以实现从输入到输出的任意非线性映射,并具
础上,引入寻优能力较强的遗传模拟退火算法(GSA)有信号正向传播、误差反向传播等特点。其网络结构

收稿日期:2011-03-03
作者简介:吕琼帅(1985-),男,河南平顶山人,郑州大学信息工程学院硕士研究生,研