基于隐特征空间的极限学习机模型选择.docx

基于隐特征空间的极限学习机模型选择摘要：针对极限学习机（ELM）中冗余的隐神经元会削弱模型泛化能力的缺点，提出了一种基于隐特征空间的ELM模型选择算法。首先，为了寻找合适的ELM隐层，在ELM中添加正则项，该项为现有隐层空间到低维隐特征空间的映射函数矩阵的Frobenius范数；其次，为解决该非凸问题，采用交替优化的策略，并通过凸二次型优化学习该隐空间；最终自适应得到最优映射函数和ELM模型。分别采用UCI标准数据集和载荷识别工程数据对所提算法进行测试，结果表明，与经典ELM相比，该算法可有效提高预测精度和数值稳定性，与现有模型选择算法相比，该算法预测精度相当，但运行时间则大幅降低。关键词：极限学习机；模型选择；交替优化；隐空间；泛化能力0引言近年来，神经网络，尤其是单隐层前馈神经网络，凭借着其强大的学习能力，在模式识别、系统辨识等领域得到广泛应用。但是，以BackPropagation（BP）算法为代表的神经网络受初始值影响较大，具有容易陷入局部极小、收敛速度较慢的缺陷。为解决上述问题，Huang等[1]提出了一种新的神经网络算法——极限学习机（ExtremeLearningMachine，ELM）。ELM随机挑选输入层参数，直接利用MoorePenrose广义逆，即可求得最小L2范数的输出层权重[2]，最终得到输出模型。整个学习过程只有隐神经元个数可调，结构简单，无需反复迭代，具有非常快的学习速度和优秀的泛化能力，因此最近受到越来越多的关注[3-4]。诸多理论分析和实验结果表明，如果ELM存在冗余的隐神经元，则不可避免地削弱模型泛化能力。如何选择对应最大泛化能力的神经元被称为ELM的模型选择问题[5]，同时也是一个公开问题。目前，ELM模型选择主要分为两种思路：一种是采用增量的方式，每增加一个神经元，就计算泛化误差，最终选择对应最小误差的网络结构[6]；另一种恰恰相反，采用了递减的方式进行求解[7]。其中，对于ELM泛化误差的估算，通常采用常规的交叉验证法。为了减少计算量，刘学艺等[8]通过构建虚拟留一法交叉验证过程，得到快速ELM泛化误差估计。为了进一步提高预测效果，Zhu等[9]、Mao等[7]将差分进化、粒子群优化等群体优化方法引入到对神经元和输入端参数的优化中，取得了较高的预测效果。但是，上述模型选择方法普遍建立在大量的重复测试之上，时间复杂度较高。由于ELM本质上是在隐神经元张成的空间建模，如果能直接寻找最优网络结构所处的隐空间，即可有效减少时间代价。基于此思路，本文将待求的隐空间作为学习对象，加入ELM中，构建得到新的正则化目标函数，并通过凸二次型优化学习该隐空间，最终采用交替优化的方法，最终得到最优的隐空间映射函数和ELM模型。