基于Hebb规则的分布神经网络学习算法.pdf

第30卷第8期计算机学报Vol.30No.82007年8月CHINESEJOURNALOFCOMPUTERSAug.2007基于Hebb规则的分布神经网络学习算法田大新1),2)刘衍珩1),2)李宾3)吴静1),2)1)(吉林大学计算机科学与技术学院长春130012)2)(吉林大学符号计算与知识工程教育部重点实验室长春130012)3)(吉林大学数学学院长春130012)摘要随着知识发现与数据挖掘领域数据量的不断增加,为了处理大规模数据,scalingup学习成为KDD的热点研究领域.文中提出了基于Hebb规则的分布式神经网络学习算法实现scalingup学习.为了提高学习速度,完整数据集被分割成不相交的子集并由独立的子神经网络来学习;通过对算法完整性及竞争Hebb学习的风险界的分析,采用增长和修剪策略避免分割学习降低算法的学习精度.对该算法的测试实验首先采用基准测试数据circle2in2the2square测试了其学习能力,并与SVM,ARTMAP和BP神经网络进行比较;然后采用UCI中的数据集US2Census1990测试其对大规模数据的学习性能.关键词scalingup;数据分割;Hebb规则;分布式学习;竞争学习中图法分类号TP183DistributedNeuralNetworkLearningAlgorithmBasedonHebbRuleTIANDa2Xin1),2)LIUYan2Heng1),2)LIBin3)WUJing1),2)1)(CollegeofComputerScienceandTechnology,JilinUniversity,Changchun130012)2)(KeyLaboratoryofSymbolicComputationandKnowledgeEngineeringofMinistryofEducation,JilinUniversity,Changchun130012)3)(CollegeofMathematics,JilinUniversity,Changchun130012)AbstractInthefieldsofknowledgediscoveryanddataminingtheamountofdataavailableforbuildingclassifiersorregressionmodelsisgrowingveryfast.Therefore,thereisagreatneedforscalingupinductivelearningalgorithmsthatarecapableofhandlingvery2largedatasetsand,sim2ultaneously,beingcomputationallyefficientandscalable.Inthispaperadistributedneuralnet2workbasedonHebbruleispresentedtoimprovethespeedandscalabilityofinductivelearning.Thespeedisimprovedbydoingthealgorithmondisjointsubsetsinsteadoftheentiredataset.Toavoidtheaccuracybeingdegradedascomparedtorunningasinglealgorithmwiththeentiredata,agrowingandpruningpolicyisadopted,whichisbasedontheanalysisofcompletenessandriskboundsofcompetitiveHebblearning.Intheexperiments,theaccuracyofthealgorithmistestedonasmallbenchmark(circle2in2the2square)andcomparedwithSVM,ARTMAPandBPneuralnetwork.Theperformanceonthelargedataset(USCensus1990Data)isevaluatedonthedatafromUCIrepository.Keywordsscalingup;datapartition;Hebbrule;distributedlearning;competitivelearning加,知识发现和数据挖掘(KDD)领域的科研人员通1引言过对已有的机器学习、数据挖掘、模式识别等方法进行扩展以使其能够应用于大规模数据集,提出了随着商业、政府、科研等领域信息数据的不断增scalingup归纳学习方法和许多实现技术.Scaling收稿日期:20