基于任务特征与公平策略的hadoop作业调度算法研究

《基于任务特征与公平策略的hadoop作业调度算法研究》由会员上传分享，免费在线阅读，更多相关内容在学术论文-天天文库。

1、分类号学号M201072557学校代码10487密级硕士学位论文基于任务特征与公平策略的Hadoop作业调度算法研究学位申请人：何文峰学科专业：计算机应用技术指导教师：王多强副教授答辩日期：2013年1月21日AThesisSubmittedinPartialFulfillmentoftheRequirementsfortheDegreeoftheMasterofEngineeringResearchofHadoopjobscheduleralgorithmbasedontaskcharacteristicsandfairstrategyCandidate:HeWenfengMa

2、jor:ComputerApplicationTechnologySupervisor:Ass.Prof.WangDuoqiangHuazhongUniversityofScienceandTechnologyWuhan,Hubei430074,P.R.ChinaJan,2013独创性声明本人声明所呈交的学位论文是我个人在导师指导下进行的研究工作及取得的研究成果。尽我所知，除文中已经标明引用的内容外，本论文不包含任何其他个人或集体已经发表或撰写过的研究成果。对本文的研究做出贡献的个人和集体，均已在文中以明确方式标明。本人完全意识到，本声明的法律结果由本人承担。学位论文作者签名：日

3、期：年月日学位论文版权使用授权书本学位论文作者完全了解学校有关保留、使用学位论文的规定，即：学校有权保留并向国家有关部门或机构送交论文的复印件和电子版，允许论文被查阅和借阅。本人授权华中科技大学可以将本学位论文的全部或部分内容编入有关数据库进行检索，可以采用影印、缩印或扫描等复制手段保存和汇编本学位论文。保密□，在___年解密后适用本授权书。本论文属于不保密□。（请在以上方框内打“√”）学位论文作者签名：指导老师签名：日期：年月日日期：年月日摘要近年来，Hadoop技术不管是在科研方面还是在应用方面都取得了巨大的发展，作业调度技术作为Hadoop平台的核心技术之一，其目的是调度作

4、业执行的顺序和分配计算资源。作业调度算法的好坏将直接影响到整个平台的计算性能。到现在为止，Hadoop认可的调度算法都有一定的不足，先进先出（FIFO）是针对单用户来设计的，它忽略了不同作业之间存在的差异，计算能力（CapacityScheduler）队列设置和作业选组无法自动进行，计算能力（FairScheduler）没有考虑当前系统各节点的负载情况。在现有调度算法不足的基础上提出了基于数据本地性的类时间片轮转算法，该算法考虑作业的优先级和作业与运算节点之间的数据本地性，设定一个避让阀值，来解决数据本地性和优先级之间的先后关系，采用类时间片轮转方式，来确保任务间的并行运行。在保

5、证优先级的前提下尽量满足作业的数据本地性，每次调度都从作业队列中选择对当前节点来说最优作业进行调度。这样既能保证优先级高的作业不会因其他作业的数据本地性而造成响应时间延长，又能保证系统整体较短的响应时间。然后对算法的思想、具体实现、预期目标做了详细的阐述。最后编写代码对提出的算法进行实验测试。实验结果表明，新提出的调度算法与Hadoop现有调度算法相比，可有效的缩短作业的响应时间。关键词：Hadoop，作业调度，数据本地性，时间片IAbstractInrecentyears,nomatterinresearchorintheapplication,Hadoophasmadetre

6、mendousdevelopment.AsoneofthecoretechnologyoftheHadoopplatform,Jobschedulingtechnology’spurposeistoschedulethejobsaccuratelyandallocatethecomputingresourceslegitimately.Jobschedulingalgorithmwilldirectlyaffecttheperformanceoftheentireplatform.Currently,therearecertaindefectsintheHadoopSchedul

7、ingalgorithms.FIFOisdesignedforasingle-user,ignoresthedifferenceofdifferentjobs.CapacitySchedulercan’tsetthequeueandselectrightgroupforthejobsautomatically.FairSchedulerdoesn’tconsidertheloadofthecurrentsystem.Baseonthedisadvantagesoftheexist