基于mapreduce计算模型的pagerank算法的优化与实现

《基于mapreduce计算模型的pagerank算法的优化与实现》由会员上传分享，免费在线阅读，更多相关内容在学术论文-天天文库。

1、．－．ｒ单位代码：１０２９３密级：公开考典缘隹硕女讼曜论文题目：基于ＭａｏＲｅｄｕｃｅ计算模型的化ｇｅ民ａｎｋ’．算法的优化与要现，，１，－－ｂ－‘孝号１２１３０４３１３２姓名孟德蠢导师成卫青教授＇＇＇＇＇■■＇专业学位类别了掉硫十？：：３ｉ＇，了．类＾今日制’－＜■？Ｌ－＇－ｆ，ｊ，中专业（领域）数据挖掘￣■．论文提交日期一二零：！＾匹六］月南京邮电大学学位论文原创性声明本人声明所呈交的学位论文是我个人在导师指导下进行的研究工作及

2、取得的研巧成果。尽我所知，除了文中特别加Ｗ标注和致谢的地方外，论文中不包含其他人己经发表或撰写过的研究成果，也不包含为获得南京邮电大学或其它教育机构的学位或证书而使用过的材料。一与我同工作的同志对本研究所做的任何贡献均己在论文中作了明确的说明并表示了谢意。一本人学位论文及涉及相关资料若有不实，愿意承担切相关的法律责任。。畫＇Ｉ研究生签名：舊袭逢日期；诫ｆ，南京邮电大学学位论文使用授权声明本人授权南京邮电大学可Ｗ保留并向国家有关部ｎ或机构送交论文的复印件和电子文挡；允许论文被查阁和借阅；可Ｗ将学位论文的全部或部分內容编入有关数据库进行检索；可（＾

3、采用影印、缩印或扫描等复制手段保存、汇编本学位论文。本文电子文档的内容和纸质论文…的内容相致。论文的公布（包括刊登）授权南京邮电大学研巧生院办理。涉密学位论文在解密后适用本授权书。研巧生签名；ｉ德导师签名：畔日期：心、斗１０為OptimizationandImplementationofPageRankUsingMapReduceThesisSubmittedtoNanjingUniversityofPostsandTelecommunicationsfortheDegreeofMasterofEngineeringByDexinMengSupervisor:P

4、rof.WeiqingChengApril2016摘要随着互联网数据量的激增，对网络中的海量数据的分析以及信息挖掘都面临着在计算能力和存储空间方面的瓶颈。针对此瓶颈，一般会选用MapReduce去处理，MapReduce是一个编程模型，主要用于在一个集群中用并行、分布式算法处理针对大型数据集的可并行化的问题。该模型主要融合了网格计算、并行化、分布式等技术，不仅降低了终端设备要求，而且提高了数据处理能力。本文旨在针对经典的基于链接关系的网页排名算法PageRank存在的不足，优化网页排名算法，并设计适于MapReduce分布式计算模型的优化算法。本文主要工作如下：（1）对Web结构挖

5、掘理论做了深入分析，并重点研究了PageRank算法、HITS算法、SALSA算法等以及这些算法之间的异同。（2）针对PageRank算法常见的四个缺点（主题漂移、权值平均化、偏重旧网页、兴趣无关性）分别提出了相应的解决方案，提出了优化算法I-PR，并通过实验证明使用它对网页进行排序的优越性。（3）设计了基于MapReduce计算模型的I-PR算法，解决了传统PageRank算法在串行化处理时效率低、存储困难等问题，并在Hadoop分布式平台上进行了实验验证与结果分析。关键字：链接分析算法，Hadoop，MapReduce，PageRankIAbstractWththesurgeo

6、fInternetdata,analysisandinformationminingofthehugeamountsofdatafacethebottleneckintermsofcomputingpowerandstoragespace.MapReduceisaprogrammingmodelforprocessingparallelizableproblemsacrosshugedatasetswithaparallel,distributedalgorithmonacluster.UsingMapReducecaneffectivelysolvetheproblemsface

7、dwhendealingwithmassivedata.Themodelmainlycombinesthegridcomputing,parallel,distributedandothertechnologies,whichnotonlyreducestherequirementsoftheterminalequipment,butalsoimprovestheabilityofdataprocessing.Aimingattheshortcomingsofthec