基于mlfq的hadoop作业调度算法研究与优化

《基于mlfq的hadoop作业调度算法研究与优化》由会员上传分享，免费在线阅读，更多相关内容在学术论文-天天文库。

1、万方数据分类号UDC密级学位论文基于MLFQ的Hadoop作业调度算法研究与优化作者姓名：指导教师：申请学位级别：学科专业名称：论文提交日期：学位授予日期：评阅人：戚展展吕振辽副教授东北大学计算中心硕士学科类别：工学计算机软件与理论2014年6月论文答辩日期：2014年6月2014年7月答辩委员会主席：黄卫祖焦明海、赵德平东北大学2014年6月万方数据AThesisinComputerSoftwareandTheoryTheReaserchalldOptimizeofNewHadoopJobSchedulingAlgorith

2、mBasedonMLFQByQiZhanzhanSupervisor：AssociateProfessorLvZhenliaoNortheasternUniversityJune2014万方数据独创性声明本人声明，所呈交的学位论文是在导师的指导下完成的。论文中取得的研究成果除加以标注和致谢的地方外，不包含其他人己经发表或撰写过的研究成果，也不包括本人为获得其他学位而使用过的材料。与我一同工作的同志对本研究所做的任何贡献均己在论文中作了明确的说明并表示谢意。学位二k八lfa文作者签名：敏承／砬,I／,子’I旦火什侣笠自：膊V厂亿

3、日期：仍l舻．6，≯l学位论文版权使用授权书本学位论文作者和指导教师完全了解东北大学有关保留、使用学位论文的规定：即学校有权保留并向国家有关部门或机构送交论文的复印件和磁盘，允许论文被查阅和借阅。本人同意东北大学可以将学位论文的全部或部分内容编入有关数据库进行检索、交流。作者和导师同意网上交流的时间为作者获得学位后：半年口一年口一年半口学位论文作者签名：舭签字日期：力脚．6、≯／两年∥导师签名：阳融遵签字日期：刀f印．占．≯／万方数据东北大学硕士学位论文摘要基于MLFQ的Hadoop作业调度算法研究与优化摘要“云计算”被Goo

4、gle、Amazon的公司提出之后，得到了工业界、学术界的广泛关注。近年来，云计算技术在工业界、学术界联合推动下获得了巨大的发展，大量的云计算系统被投入使用，其中有很大一部分基于Hadoop平台。Hadoop平台是一个开放源代码云计算框架，最大的优势是实现了并行化对开发者的透明性，使开发者开发云计算应用系统时不必关心并行性细节，这些细节则由Hadoop框架在底层完成。作业调度是Hadoop平台的核心之一，其主要功能是控制集群中作业的执行顺序以及分配计算资源，这直接关系到Hadoop平台的整体性能和系统资源的利用率。论文基于Ha

5、doop1．2．1平台，首先对Hadoop作业调度机制进行了详细的研究，在此基础上提出了一种新的Hadoop作业调度算法。论文的主要贡献如下：1．提出了一种基于多级反馈队列(Multi．1evelFeedbackQueue简称MLFQ)的作业调度算法。该算法最先应用在操作系统中对进程进行调度并取得了很好的效果，论文将算法改造后应用到Hadoop的作业调度中，解决了集群中小作业公平性的问题，并有效提升了平台的整体性能。2．为了解决严格遵循MLFQ算法思想遇到的两个问题作业本地性差、Reduce槽囤积，论文提出了MLFQ算法的两种

6、优化方案Map任务延迟调度算法、Reduce任务延迟调度算法分别解决这两个问题。3．搭建了Hadoop平台，对基于MLFQ的Hadoop作业调度算法及两种改进算法进行了多组实验，并对所得实验数据进行对比分析，结果表明，论文提出的算法能够有效的缩短作业的平均响应时间，提高了系统的吞吐率。关键词：云计算；多级反馈队列：作业调度：MapReduce；延迟调度；Hadoop．II．万方数据东北大学硕士学位论文AbstractTheReaserchandOptimizeofANewHadoopJobSchedulingAlgorithm

7、BasedonMLFQAbstractCloudcomputing，whichisputforwardbyGoogle，Amazonetc，hasbeenwidespreadconcernedintheindustryandacademia．Inrecentyears，thecloudcomputingtechnologyhasgotenormousdevelopmentwi廿ltheeffortsofindustryandacademia．Manycloudcomputingsystemshavebeenwidelyused

8、basedontheHadoopplatform．Hadoopisanopensourceplatformforcloudcomputingframework，thebiggestadvantageistoachieveparallelismtransparencytodev