基于隐特征空间的极限学习机模型选择.docx

基于隐特征空间的极限学习机模型选择摘要：针对极限学习机（ELM）中冗余的隐神经元会削弱模型泛化能力的缺点提出了一种基于隐特征空间的ELM模型选择算法。首先为了寻找合适的ELM隐层在ELM中添加正则项该项为现有隐层空间到低维隐特征空间的映射函数矩阵的Frobenius范数；其次为解决该非凸问题采用交替优化的策略并通过凸二次型优化学习该隐空间；最终自适应得到最优映射函数和ELM模型。分别采用UCI标准数据集和载荷识别工程数据对所提算法进行测试结果表明与经典ELM相比该算法可有效提高预测精度和数值稳定性与现有模型选择算法相比该算法预测精度相当但运行时间则大幅降低。关键词：极限学习机；模型选择；交替优化；隐空间；泛化能力0引言近年来神经网络尤其是单隐层前馈神经网络凭借着其强大的学习能力在模式识别、系统辨识等领域得到广泛应用。但是以BackPropagation（BP）算法为代表的神经网络受初始值影响较大具有容易陷入局部极小、收敛速度较慢的缺陷。为解决上述问题Huang等[1]提出了一种新的神经网络算法——极限学习机（ExtremeLearningMachineELM）。ELM随机挑选输入层参数直接利用MoorePenrose广义逆即可求得最小L2范数的输出层权重[2]最终得到输出模型。整个学习过程只有隐神经元个数可调结构简单无需反复迭代具有非常快的学习速度和优秀的泛化能力因此最近受到越来越多的关注[3-4]。诸多理论分析和实验结果表明如果ELM存在冗余的隐神经元则不可避免地削弱模型泛化能力。如何选择对应最大泛化能力的神经元被称为ELM的模型选择问题[5]同时也是一个公开问题。目前ELM模型选择主要分为两种思路：一种是采用增量的方式每增加一个神经元就计算泛化误差最终选择对应最小误差的网络结构[6]；另一种恰恰相反采用了递减的方式进行求解[7]。其中对于ELM泛化误差的估算通常采用常规的交叉验证法。为了减少计算量刘学艺等[8]通过构建虚拟留一法交叉验证过程得到快速ELM泛化误差估计。为了进一步提高预测效果Zhu等[9]、Mao等[7]将差分进化、粒子群优化等群体优化方法引入到对神经元和输入端参数的优化中取得了较高的预测效果。但是上述模型选择方法普遍建立在大量的重复测试之上时间复杂度较高。由于ELM本质上是在隐神经元张成的空间建模如果能直接寻找最优网络结构所处的隐空间即可有效减少时间代价。基于此思路本文将待求的隐空间作为学习对象加入ELM中构建得到新的正则化目标函数并通过凸二次型优化学习该隐空间最终采用交替优化的方法最终得到最优的隐空间映射函数和ELM模型。