基于Hadoop的并行数据分析系统.pdf

《基于Hadoop的并行数据分析系统.pdf》由会员上传分享，免费在线阅读，更多相关内容在行业资料-天天文库。

1、第３９卷第１０期湖南大学学报（自然科学版）Ｖｏｌ．３９，Ｎｏ．１０２０１２年１０月ＪｏｕｒｎａｌｏｆＨｕｎａｎＵｎｉｖｅｒｓｉｔｙ（ＮａｔｕｒａｌＳｃｉｅｎｃｅｓ）Ｏｃｔ．２０１２文章编号：１６７４－２９７４（２０１２）１０－００８７－０６＊ＰＤＭ：基于Ｈａｄｏｏｐ的并行数据分析系统段松青，吴斌，于乐，王柏（北京邮电大学计算机学院，北京１００８７６）摘要：提出了一款基于Ｈａｄｏｏｐ的并行数据分析系统———ＰＤＭ．该系统拥有大量以ＭａｐＲｅｄｕｃｅ为计算框架的并行数据分析算法，不仅包括传统的ＥＴＬ、数据挖掘、

2、数据统计和文本分析算法，还引入了基于图理论的ＳＮＡ（社会网络分析）算法．详细阐述了并行多元线性回归算法和“多源最短路径”算法的原理和实现，其中，提出的“消息传递模型”能有效解决ＭａｐＲｅｄｕｃｅ难以处理邻接矩阵的问题；介绍了基于电信数据的典型应用，如采用并行ｋ均值和决策树算法实现的“套餐推荐”，利用并行ＰａｇｅＲａｎｋ算法实现的“营销关键点发现”等；最后通过性能测试，说明该系统适合高效地处理大规模数据．关键词：云计算；Ｈａｄｏｏｐ；并行算法；数据挖掘；社会网络分析中图分类号：ＴＰ３１１文献标识码：ＡＰＤＭ：Ａ

3、ＰａｒａｌｌｅｌＤａｔａＡｎａｌｙｓｉｓＳｙｓｔｅｍＢａｓｅｄｏｎＨａｄｏｏｐ，ＷＵＢｉｎ，ＹＵＬｅ，ＷＡＮＧＢａｉＤＵＡＮＳｏｎｇ－ｑｉｎｇ（ＳｃｈｏｏｌｏｆＣｏｍｐｕｔｅｒＳｃｉｅｎｃｅ，ＢｅｉｊｉｎｇＵｎｉｖｏｆＰｏｓｔｓａｎｄＴｅｌｅｃｏｍｍｕｎｉｃａｔｉｏｎｓ，Ｂｅｉｊｉｎｇ１００８７６，Ｃｈｉｎａ）Ａｂｓｔｒａｃｔ：ＡＰＤＭ（ＰａｒａｌｌｅｌＤａｔａＭｉｎｉｎｇ）ｓｙｓｔｅｍｗａｓｂｕｉｌｔｂａｓｅｄｏｎＨａｄｏｏｐ．ＰＤＭｃｏｎｔａｉｎｓａｌａｒｇｅｎｕｍｂｅｒｏｆｐａｒａｌｌｅｌｄａｔａａｎ

4、ａｌｙｓｉｓａｌｇｏｒｉｔｈｍｓｂａｓｅｄｏｎＭａｐＲｅｄｕｃｅｃｏｍｐｕｔａｔｉｏｎａｌｆｒａｍｅｗｏｒｋ．Ｔｈｅｓｅａｌｇｏ－ｒｉｔｈｍｓｎｏｔｏｎｌｙｃｏｎｔａｉｎｔｈｅｃｌａｓｓｉｃａｌｇｏｒｉｔｈｍｓｏｆＥＴＬ，ｄａｔａｍｉｎｉｎｇ，ｄａｔａｓｔａｔｉｓｔｉｃａｌａｎｄｔｅｘｔａｎａｌｙｓｉｓ，ｂｕｔａｌｓｏｉｎｔｒｏｄｕｃｅＳＮＡ（ｓｏｃｉａｌｎｅｔｗｏｒｋａｎａｌｙｓｉｓ）ｂａｓｅｄｏｎｇｒａｐｈｍｉｎｉｎｇ．Ｔｈｅｐｒｉｎｃｉｐｌｅａｎｄｉｍｐｌｅｍｅｎｔａｔｉｏｎｏｆｔｈｅｐａｒａｌｌｅｌｍ

5、ｕｌｔｉｐｌｅｌｉｎｅａｒｒｅｇｒｅｓｓｉｏｎａｌｇｏｒｉｔｈｍａｎｄｔｈｅｍｕｌｔｉ－ｓｏｕｒｃｅｓｈｏｒｔｅｓｔｐａｔｈａｌｇｏｒｉｔｈｍｗｅｒｅｄｅ－ｓｃｒｉｂｅｄａｎｄｔｈｅ“Ｍｅｓｓａｇｅ－ｐａｓｓｉｎｇｍｏｄｅｌ”ｐｒｏｐｏｓｅｄｃａｎｅｆｆｅｃｔｉｖｅｌｙｓｏｌｖｅｔｈｅｐｒｏｂｌｅｍｔｈａｔＭａｐＲｅｄｕｃｅｉｓｄｉｆ－ｆｉｃｕｌｔｔｏｄｅａｌｗｉｔｈｔｈｅａｄｊａｃｅｎｃｙｍａｔｒｉｘｓｔｒｕｃｔｕｒｅ．Ｔｈｉｓｐａｐｅｒａｌｓｏｉｌｌｕｓｔｒａｔｅｓｓｏｍｅｔｙｐｉｃａｌａｐｐｌｉｃａｔｉ

6、ｏｎｓｏｆｔｅｌｅｃｏｍｍｕｎｉｃａｔｉｏｎｓ，ｓｕｃｈａｓｔｈｅ“Ｂｕｓｉｎｅｓｓｒｅｃｏｍｍｅｎｄａｔｉｏｎ”ｂａｓｅｄｏｎｐａｒａｌｌｅｌｋ－ｍｅａｎｓａｎｄｄｅｃｉｓｉｏｎｔｒｅｅａｌｇｏｒｉｔｈｍｓ，ｔｈｅ“Ｍａｒｋｅｔｉｎｇｋｅｙｐｏｉｎｔｓｄｉｓｃｏｖｅｒｙ”ｂａｓｅｄｏｎｐａｒａｌｌｅｌＰａｇｅＲａｎｋａｌｇｏｒｉｔｈｍａｎｄｔｈｅｌｉｋｅ．Ｆｉ－ｎａｌｌｙ，ｔｈｅｒｅｓｕｌｔｓｏｆｐｅｒｆｏｒｍａｎｃｅｔｅｓｔｓｈｏｗｔｈａｔｔｈｅｐｒｏｐｏｓｅｄｓｙｓｔｅｍｉｓｓｕｉｔａｂｌｅｆｏｒｄｅａ

7、ｌｉｎｇｗｉｔｈｌａｒｇｅｓｃａｌｅｄａｔａｅｆｆｉｃｉｅｎｔｌｙ．Ｋｅｙｗｏｒｄｓ：ｃｌｏｕｄｃｏｍｐｕｔｉｎｇ；Ｈａｄｏｏｐ；ｐａｒａｌｌｅｌａｌｇｏｒｉｔｈｍｓ；ｄａｔａｍｉｎｉｎｇ；ｓｏｃｉａｌｎｅｔｗｏｒｋａｎａｌｙｓｉｓ信息爆炸式增长，企业迫切需要对海量数据进云计算集网格计算、分布计算、并行计算、效用计算、行及时、准确地处理，以获取潜在的、有价值的信息．网络存储、虚拟化、负载均衡等技术于一体，具有海＊收稿日期：２０１２０２１１基金项目：国家自然科学基金资助项目（９０９２４０２９，６０９０５０２５，

8、６１０７４１２８）作者简介：段松青（１９８７—），男，湖南郴州人，北京邮电大学博士研究生通讯联系人，Ｅ－ｍａｉｌ：ｄｓｑ５８６２９＠１６３．ｃｏｍ．８８湖南大学学报（自然科学版）２０１２年量的存储能力和可弹性变化的计算能力，成为解决推出了ＣａａＳ；国内，中国移动提出“大云计划”，电信提该问题的有效方式．自Ｇｏｏｇｌｅ提出ＧＡＥ（Ｇｏｏｇｌｅ出了“星云计划”，联通开发了“互联云”．ＡｐｐＥｎｇｉｎｅ