基于决策树的BP神经网络权值初始化方法及其应用研究.docx

基于决策树的BP神经网络权值初始化方法及其应用研究
基于决策树的BP神经网络权值初始化方法及其应用研究
摘要
BP神经网络是一种广泛应用于分类、回归等问题的人工神经网络，在不同领域有着广泛的应用。在BP神经网络的训练过程中，权值的初始化对于最终的训练效果有着很大的影响。本文提出一种基于决策树的权值初始化方法。通过构建决策树来确定隐层节点的数量和输出层的激活函数，进而确定权值的初始值。实验结果表明，该初始化方法可以有效提高BP神经网络的分类性能。
关键词：BP神经网络，权值初始化，决策树
Abstract
BPneuralnetworkisakindofartificialneuralnetworkwidelyusedinclassification,regressionandotherproblems,andhasbeenextensivelyappliedindifferentfields.InthetrainingprocessofBPneuralnetwork,theinitializationofweightshasagreatinfluenceonthefinaltrainingeffect.Inthispaper,weproposeaweightinitializationmethodbasedondecisiontree.Thenumberofhiddenlayernodesandtheactivationfunctionofoutputlayeraredeterminedbyconstructingdecisiontree,andthentheinitialvalueofweightisdetermined.ExperimentalresultsshowthatthisinitializationmethodcaneffectivelyimprovetheclassificationperformanceofBPneuralnetwork.
Keywords:BPneuralnetwork,weightinitialization,decisiontree
引言
BP神经网络是一种多层前馈网络，能够进行模式分类、函数逼近和目标优化等任务，具有很强的应用潜力。在使用BP神经网络进行相关任务的过程中，网络的训练过程是十分关键的环节，而权值初始化方法则是网络训练过程中的一项重要预处理步骤。
传统的BP神经网络权值初始化方法主要有随机初始化、正交初始化和Sigmoid函数梯度反转等方法。然而，这些方法的缺陷在于没有使用数据特征信息，导致网络训练效果不够理想。为了解决这一问题，一些研究者提出了基于决策树的权值初始化方法，此方法可以利用数据的特征信息进行权值初始化，从而提高了网络的训练效果。
决策树是一种基本的分类模型，它可以根据数据特征的重要性逐层划分，最终得到一个准确分类的树状结构。本文提出了一种基于决策树的权值初始化方法，该方法可以根据数据特征的重要性确定网络的隐层节点数量和输出层的激活函数类型。进一步利用这些信息确定权值的初始值。实验结果表明，所提出的方法可以有效提高BP神经网络的分类性能。
方法
1.决策树生成
决策树是一种基本的分类模型，其主要包括以下三个步骤：特征选择、树生成和剪枝。在本研究中，使用基尼指数来进行特征选择，该指数越小说明划分后的结果越纯净。决策树的树生成和剪枝采用C4.5算法。
2.BP神经网络权值初始化方法
网络结构的确定是影响BP神经网络训练效果的一个重要因素。其中隐层节点数量的设置十分关键，若设置过少，则无法体现其逼近的复杂性；若设置过多，则会增加网络的训练时间和过拟合程度。因此，本研究提出利用决策树来确定隐层节点数量，过程如下：
（1）构建决策树并进行特征选择。
（2）将树的叶子结点数作为隐层节点数量。
另外，在确定输出层的激活函数类型时，我们可以通过统计决策树中每一类的样本数来确定。若样本数较少，则输出层的激活函数选用线性激活函数；若样本数较多，则输出层的激活函数选用Sigmoid函数。
最后，根据隐层节点数量和输出层激活函数类型确定每个神经元的初始权值。具体地，隐层神经元的初始权值从均匀分布中随机采样得到，而输出层神经元的初始权值则根据其选择的激活函数类型进行初始化。
实验
为了验证本文所提出的初始化方法，我们选取了三个数据集进行训练，分别为Iris数据集、Wine数据集和MNIST数据集。其中，Iris数据集和Wine数据集是比较小型的数据集，而MNIST数据集则是较大型的图像分类数据集。
表1显示了本文所提出的方法和传统的随机初始化方法在三个数据集上的分类性能比较。可以看出，本文所提出的方法在所有数据集上都取得了比传统方法更优的分类效果。
表1不同初始化方法的分类性能对比（测试