极限学习机的快速留一交叉验证算法.pdf

第45卷第8期上海交通大学学报Vol.45No.8
2011年8月JOURNALOFSHANGHAIJIAOTONGUNIVERSITYAug.2011

文章编号:10062467(2011)08114006

极限学习机的快速留一交叉验证算法

刘学艺a,李平a,b,郜传厚c
(浙江大学a.航空航天学院;b.工业控制研究所;c.数学系,杭州310027)

摘要:针对回归和分类问题,提出一种极限学习机(ExtremeLearningMachine,ELM)的快速留
一交叉验证算法,并从理论和数值仿真两方面说明其有效性.结果表明,该算法避免了以训练样本
数量N次的ELM模型的显式训练,其计算复杂度与N仅呈线性趋势增长,即O(N).即使在处理
大型数据集建模问题时,该算法仍然可以快速地进行ELM模型的选择和评价.通过人工和实际数
据集上的仿真实验,验证了该快速留一交叉验证算法的有效性.
关键词:极限学习机;留一法;交叉验证;计算复杂性
中图分类号:TP18;O234文献标志码:A

FastLeaveOneOutCrossValidationAlgorithmfor
ExtremeLearningMachine

LIUXueyia,LIPinga,b,GAOChuanhouc
(a.SchoolofAeronauticsandAstronautics;b.InstituteofIndustrialProcessControl;
c.DepartmentofMathematics,ZhejiangUniversity,Hangzhou310027,China)

Abstract:Leaveoneoutcrossvalidationhasprovedtobenearcapableofgivingtheunbiasedestimationof
thegeneralizationperformanceofstatisticalmodels,andthuscanprovideareliablecriterionformodelse
lectionandcomparison.Forthisreason,thecurrentpaperpresentedafastleaveoneoutcrossvalidation
algorithmintheframeworkofextremelearningmachines(ELMs)withrespecttobothregressionandclas
sificationproblems,whichcanavoidtrainingexplicitlyandjusthasthecomplexityofO(N)foradataset
withNpoints.Thevalidityofthealgorithmisalsostrictlyproved.Thesimulationsconductedonthearti
ficialandrealworldproblemsshowtheeffectivenessandefficiencyoftheproposedalgorithm.
Keywords:extremelearningmachine(ELM);leaveoneout;crossvalidation;computationalcomplexity

当难以利用机理建立受控对象准确数学模型于其强大的学习能力而在很多领域得到了广泛的应
时,数据驱动的建模方法则有助于实现被控对象的用;然而,BackPropagation(BP)算法作为单隐层
[12]
预测、评价和优化控制.神经网络作为一种典型前馈网络的常用学习算法有着明显的缺陷,即基于
的基于数据驱动的建模方法,已经得到了深入而广梯度下降的迭代方法收敛速度慢、容易陷入局部极
泛的研究.其中:单隐层前馈神经网络(SLFNN)由小等.为了克服这些问题,Huang等[3]提出了一种

收稿日期:20110315
基金项目:国家高技术研究发展计划(863)项目(2006AA04Z184),国家自然科学基金资助项目(10901139,60911130510,60874029)
作者简介:刘学艺(1978),男,山东淄博人,博士生,主要研究方向为机器学习、复杂工业过程建模与优化.
李平(联系人),男,教授,博士生导师,电话(Tel.):057187951834806;Email:[e-mail].
第8期刘学艺,等:极限学习机的快速留一交叉验证算法1141

极限学习机(ELM)并获得了成功应用.ELM可以g(a1x1+b1)g(aL