mapreduce作业调度算法分析与优化研究

《mapreduce作业调度算法分析与优化研究》由会员上传分享，免费在线阅读，更多相关内容在学术论文-天天文库。

1、硕士学位论文题目:MapReduce作业调度算法分析与优化研究研究生赖海明专业计算机应用技术指导教师郑宁研究员完成日期2012年12月杭州电子科技大学硕士学位论文MapReduce作业调度算法分析与优化研究研究生：赖海明指导教师：郑宁研究员2012年12月DissertationSubmittedtoHangzhouDianziUniversityfortheDegreeofMasterResearchonJobSchedulingAlgorithmsforMapReduceCandidate:LaiHaiMin

2、gSupervisor:Prof.ZhengNingDecember，2012杭州电子科技大学学位论文原创性声明和使用授权说明原创性声明本人郑重声明：所呈交的学位论文，是本人在导师的指导下，独立进行研究工作所取得的成果。除文中已经注明引用的内容外，本论文不含任何其他个人或集体已经发表或撰写过的作品或成果。对本文的研究做出重要贡献的个人和集体，均已在文中以明确方式标明。申请学位论文与资料若有不实之处，本人承担一切相关责任。论文作者签名：日期：年月日学位论文使用授权说明本人完全了解杭州电子科技大学关于保留和使用学位论

3、文的规定，即：研究生在校攻读学位期间论文工作的知识产权单位属杭州电子科技大学。本人保证毕业离校后，发表论文或使用论文工作成果时署名单位仍然为杭州电子科技大学。学校有权保留送交论文的复印件，允许查阅和借阅论文；学校可以公布论文的全部或部分内容，可以允许采用影印、缩印或其它复制手段保存论文。（保密论文在解密后遵守此规定）论文作者签名：日期：年月日指导教师签名：日期：年月日杭州电子科技大学硕士学位论文摘要随着互联网技术的迅猛发展，每天由网络产生的数据量越来越庞大。互联网企业面对这些浩繁的数据，常常陷入数据丰富而信息贫乏

4、的尴尬境地。MapReduce是Google提出的一种用于大规模数据并行运算的模型。由于简单、易于实现、可扩展性强以及良好的容错性等优点，MapReduce被广泛应用于日志分析和海量数据排序等大规模数据分析领域。然而，通过对MapReduce的深入分析以及与并行数据库管理系统进行比较后，发现MapReduce在性能方面不及传统的并行数据库管理系统。因此如何提高MapReduce的性能已经成为大规模数据并行运算领域中的一个研究热点和难点问题。本文对通过优化作业调度算法的途径来提高MapReduce性能的技术展开了研

5、究。首先，介绍了MapReduce计算模型及其工作机制，重点分析了MapReduce作业执行流程和特点。其次，分析了MapReduce作业执行时间的影响因素。着重分析了MapReduce配置参数及其存储结构对作业执行时间的影响程度，并设计了一种评估存储结构对性能影响的方法。实验结果表明了该评估方法的有效性。然后，提出了一种基于神经网络的作业执行时间预测方法。该方法利用MapReduce已完成作业的相关数据信息，通过神经网络建立MapReduce参数和作业执行时间之间的关系模型，进而达到利用模型预测作业执行时间的目

6、的。实验结果验证了该方法在预测作业执行时间的有效性和准确性。最后，提出了一种基于高响应比优先的MapReduce作业调度算法。针对MapReduce基本调度算法存在不足之处，结合本文提出的MapReduce作业执行时间预测方法，提出了一种基于高响应比优先的作业调度算法。该算法综合考虑了作业的要求服务时间和等待时间，既考虑了短作业，又兼顾了作业到达的先后次序，不会使长作业长期得不到执行。实验验证了该调度算法对MapReduce作业调度的有效性。综上所述，本文分析了MapReduce计算模型、工作机制及作业执行时间的

7、影响因素，提出了一种预测MapReduce作业执行时间的方法，并提出了一种适用于MapReduce计算模型的基于高响应比优先的作业调度算法。关键词：MapReduce，配置参数，作业调度，存储结构，神经网络，高响应比I杭州电子科技大学硕士学位论文ABSTRACTWiththerapiddevelopmentofinternettechnology,thedatageneratedbythenetworkisgrowinghugeeveryday.Internetcompanies,facingthesevolum

8、inousdata,oftenfallintotheembarrassingsituationofdatarichbutinformationpoor.MapReduce,proposedbyGoogle,isaparallelprogrammingmodelforparallelcomputingoflarge-scaledatasets.MapReducehasman