基于资源状况的延时等待公平调度算法的研究

《基于资源状况的延时等待公平调度算法的研究》由会员上传分享，免费在线阅读，更多相关内容在学术论文-天天文库。

1、万方数据分类号UDC密级学位论文基于资源状况的延时等待公平调度算法的研究作者姓名：指导教师：申请学位级别：学科专业名称：论文提交日期：学位授予日期：评阅人：杨洋蒋学英副教授东北大学信息科学与工程学院硕士学科类别：工学计算机软件与理论2014年6月论文答辩日期：2014年6月2014年7月答辩委员会主席：王翠荣袁静波、金顺福东北大学2014年6月万方数据AThesisinComputersoftwareandTheory0IlllIlllllIIIlllUIY2994741TheResearchofDelayFairSchedulingAlgorithmBasedonResource

2、StatusByYangYangSupervisor：AssociateProfessorJiangXueyingNortheasternUniversityJune2014万方数据独创性声明本人声明，所呈交的学位论文是在导师的指导下完成的。论文中取得的研究成果除加以标注和致谢的地方外，不包含其他人己经发表或撰写过的研究成果，也不包括本人为获得其他学位而使用过的材料。与我一同工作的同志对本研究所做的任何贡献均己在论文中作了明确的说明并表示谢：∞思。学位论文作者签名：．枷坪日期：加f印、占．石学位论文版权使用授权书本学位论文作者和指导教师完全了解东北大学有关保留、使用学位论文的规定：

3、即学校有权保留并向国家有关部门或机构送交论文的复印件和磁盘，允许论文被查阅和借阅。本人同意东北大学可以将学位论文的全部或部分内容编入有关数据库进行检索、交流。作者和导师同意网上交流的时间为作者获得学位后：半年口一年口一年半口学位论文作者签名：扔珲签字日期：办厂争，‘．铂I、／两年日导师签名：砖虿凄导师签名：孵i笑签字日期：乙口／≯、乡、《万方数据东北大学硕士学位论文摘要基于资源状况的延时等待公平调度算法的研究摘要随着互联网技术的迅猛发展，大规模的数据也随之产生，传统的数据存储方式和处理方式已经不能满足海量数据对存储和处理的需求。云计算平台的出现，则为海量数据的存储和处理提供了一个很

4、好的解决方案。本文选取具有诸多优点的Hadoop云计算平台作为研究对象。作业调度算法是直接关系着Hadoop平台用户体验和整体性能的关键技术之一。因此对Hadoop平台作业调度算法的研究具有现实意义。本文首先阐述了Hadoop的背景知识，深入分析了Hadoop平台的关键技术，包括HDFS和MapReduce两大核心内容，并对Hadoop平台上作业执行流程进行研究，然后在Linux系统下，以多线程和消息通信为技术基础，采用C语言编程对MapReduce计算模型进行了仿真实验。然后，针对Hadoop平台现有的公平调度算法任务等待超时时间对本机架和其他机架不区分，且为静态等不足，给出了基

5、于资源状况的延时等待公平调度算法。该算法通过采用定期获取集群资源状况以确定等待超时时间，使其具备一定的动态性。同时，为了缩短作业运行时间，在任务调度时，根据任务的分类并结合任务的特点，采用不同的调度策略。最后，通过搭建Hadoop实验平台并选取合适的基准程序，然后通过一系列的实验证明了基于资源状况的延时等待公平调度算法比原算法在一定程度上缩短了作业运行时间，验证了基于资源状况的延时等待公平调度算法的有效性。关键词：资源状况：延时等待；公平调度算法：Hadoop；MapRedueeII万方数据东北大学士学位论文TheResearchofDelayFairSchedulingAlgor

6、ithmBasedonResourceStatusAbstractRecently,丽t11therapiddevelopmentofInternettechnology,large-scaledatahasbeenemerge，thetraditionalwayofdatastorageanddataanalysisCan’tsatisfythedemandformassdatastorageandprocessinganymore．TheCloudComputingPlatformisaveryexcellentsolutionfortheproblem．Thispaperse

7、lectsHadoopCloudComputingplatformastheresearchobject．Jobschedulingalgorithmisoneofthemostimportantkeytechnologyproblems．ItaffectstheperformanceofplatformandUEdirectly．Firstly,thispaperintroducesthebackgroundofHadoop，andthen，researchesth