基于Hadoop的并行数据分析系统.pdf

第３９卷第１０期湖南大学学报（自然科学版）Ｖｏｌ．３９，Ｎｏ．１０
２０１２年１０月ＪｏｕｒｎａｌｏｆＨｕｎａｎＵｎｉｖｅｒｓｉｔｙ（ＮａｔｕｒａｌＳｃｉｅｎｃｅｓ）Ｏｃｔ．２０１２

文章编号：１６７４－２９７４（２０１２）１０－００８７－０６

＊
ＰＤＭ：基于Ｈａｄｏｏｐ的并行数据分析系统

段松青，吴斌，于乐，王柏
（北京邮电大学计算机学院，北京１００８７６）

摘要：提出了一款基于Ｈａｄｏｏｐ的并行数据分析系统———ＰＤＭ．该系统拥有大量以
ＭａｐＲｅｄｕｃｅ为计算框架的并行数据分析算法，不仅包括传统的ＥＴＬ、数据挖掘、数据统计和
文本分析算法，还引入了基于图理论的ＳＮＡ（社会网络分析）算法．详细阐述了并行多元线
性回归算法和“多源最短路径”算法的原理和实现，其中，提出的“消息传递模型”能有效解决
ＭａｐＲｅｄｕｃｅ难以处理邻接矩阵的问题；介绍了基于电信数据的典型应用，如采用并行ｋ均
值和决策树算法实现的“套餐推荐”，利用并行ＰａｇｅＲａｎｋ算法实现的“营销关键点发现”等；
最后通过性能测试，说明该系统适合高效地处理大规模数据．
关键词：云计算；Ｈａｄｏｏｐ；并行算法；数据挖掘；社会网络分析
中图分类号：ＴＰ３１１文献标识码：Ａ

ＰＤＭ：ＡＰａｒａｌｌｅｌＤａｔａＡｎａｌｙｓｉｓＳｙｓｔｅｍＢａｓｅｄｏｎＨａｄｏｏｐ

ＤＵＡＮＳｏｎｇ－ｑｉｎｇ，ＷＵＢｉｎ，ＹＵＬｅ，ＷＡＮＧＢａｉ
（ＳｃｈｏｏｌｏｆＣｏｍｐｕｔｅｒＳｃｉｅｎｃｅ，ＢｅｉｊｉｎｇＵｎｉｖｏｆＰｏｓｔｓａｎｄＴｅｌｅｃｏｍｍｕｎｉｃａｔｉｏｎｓ，Ｂｅｉｊｉｎｇ１００８７６，Ｃｈｉｎａ）

Ａｂｓｔｒａｃｔ：ＡＰＤＭ（ＰａｒａｌｌｅｌＤａｔａＭｉｎｉｎｇ）ｓｙｓｔｅｍｗａｓｂｕｉｌｔｂａｓｅｄｏｎＨａｄｏｏｐ．ＰＤＭｃｏｎｔａｉｎｓａｌａｒｇｅ
ｎｕｍｂｅｒｏｆｐａｒａｌｌｅｌｄａｔａａｎａｌｙｓｉｓａｌｇｏｒｉｔｈｍｓｂａｓｅｄｏｎＭａｐＲｅｄｕｃｅｃｏｍｐｕｔａｔｉｏｎａｌｆｒａｍｅｗｏｒｋ．Ｔｈｅｓｅａｌｇｏ－
ｒｉｔｈｍｓｎｏｔｏｎｌｙｃｏｎｔａｉｎｔｈｅｃｌａｓｓｉｃａｌｇｏｒｉｔｈｍｓｏｆＥＴＬ，ｄａｔａｍｉｎｉｎｇ，ｄａｔａｓｔａｔｉｓｔｉｃａｌａｎｄｔｅｘｔａｎａｌｙｓｉｓ，ｂｕｔ
ａｌｓｏｉｎｔｒｏｄｕｃｅＳＮＡ（ｓｏｃｉａｌｎｅｔｗｏｒｋａｎａｌｙｓｉｓ）ｂａｓｅｄｏｎｇｒａｐｈｍｉｎｉｎｇ．Ｔｈｅｐｒｉｎｃｉｐｌｅａｎｄｉｍｐｌｅｍｅｎｔａｔｉｏｎｏｆ
ｔｈｅｐａｒａｌｌｅｌｍｕｌｔｉｐｌｅｌｉｎｅａｒｒｅｇｒｅｓｓｉｏｎａｌｇｏｒｉｔｈｍａｎｄｔｈｅｍｕｌｔｉ－ｓｏｕｒｃｅｓｈｏｒｔｅｓｔｐａｔｈａｌｇｏｒｉｔｈｍｗｅｒｅｄｅ－
ｓｃｒｉｂｅｄａｎｄｔｈｅ“Ｍｅｓｓａｇｅ－ｐａｓｓｉｎｇｍｏｄｅｌ”ｐｒｏｐｏｓｅｄｃａｎｅｆｆｅｃｔｉｖｅｌｙｓｏｌｖｅｔｈｅｐｒｏｂｌｅｍｔｈａｔＭａｐＲｅｄｕｃｅｉｓｄｉｆ－
ｆｉｃｕｌｔｔｏｄｅａｌｗｉｔｈｔｈｅａｄｊａｃｅｎｃｙｍａｔｒｉｘｓｔｒｕｃｔｕｒｅ．Ｔｈｉｓｐａｐｅｒａｌｓｏｉｌｌｕｓｔｒａｔｅｓｓｏｍｅｔｙｐｉｃａｌａｐｐｌｉｃａｔｉｏｎｓｏｆ
ｔｅｌｅｃｏｍｍｕｎｉｃａｔｉｏｎｓ，ｓｕｃｈａｓｔｈｅ“Ｂｕｓｉｎｅｓｓｒｅｃｏｍｍｅｎｄａｔｉｏｎ”ｂａｓｅｄｏｎｐａｒａｌｌｅｌｋ－ｍｅａｎｓａｎｄｄｅｃｉｓｉｏｎｔｒｅｅ
ａｌｇｏｒｉｔｈｍｓ，ｔｈｅ“Ｍａｒｋｅｔｉｎｇｋｅｙｐｏｉｎｔｓｄｉｓｃｏｖｅｒｙ”ｂａｓｅｄｏｎｐａｒａｌｌｅｌＰａｇｅＲａｎｋａｌｇｏｒｉｔｈｍａｎｄｔｈｅｌｉｋｅ．Ｆｉ－
ｎａｌｌｙ，ｔｈｅｒｅｓｕｌｔｓｏｆｐｅｒｆｏｒｍａｎｃｅｔｅｓｔｓｈｏｗｔｈａｔｔｈｅｐｒｏｐｏｓｅｄｓｙｓｔｅｍｉｓｓｕｉｔａｂｌｅｆｏｒｄｅａｌｉｎｇｗｉｔｈｌａｒｇｅｓｃａｌｅ
ｄａｔａｅｆｆｉｃｉｅｎｔｌｙ．
Ｋｅｙｗｏｒｄｓ：ｃｌｏｕｄｃｏｍｐｕｔｉｎｇ；Ｈａｄｏｏｐ；ｐａｒａｌｌｅｌａｌｇｏｒｉｔｈｍｓ；ｄａｔａｍｉｎｉｎｇ；ｓｏｃｉａｌｎｅｔｗｏｒｋａｎａｌｙｓｉｓ

信息爆炸式增长，企业迫切需要对海量数据进云计算集网格计算、分布计算、并行计算、效用计算、
行及时、准确地处理，以获取潜在的、有价值的信息．网络存储、虚拟化、负载均衡等技术于一体，具有海

＊收稿日期：２０１２０２１１
基金项目：国家自然科学基金资助项目（９０９２４０２９，６０９０５０２５，６１０７４１２８）
作者简介：段松青（１９８７—），男，湖南郴州人，北京邮电大学博士研究生
通讯联系人，Ｅ－ｍａｉｌ：[e-mail]．
８８湖南大学学报（自然科学版）２０１２年

量的存储能力和可弹性变化的计算能力，成为解决推出了ＣａａＳ；国内，中国移动提出“大云计划”，电信提
该问题的