欢迎来到天天文库
浏览记录
ID:33773996
大小:4.64 MB
页数:83页
时间:2019-03-01
《基于hadoop平台的作业调度技术研究》由会员上传分享,免费在线阅读,更多相关内容在学术论文-天天文库。
1、西安建筑科技大学硕士学位论文基于Hadoop平台的作业调度技术研究专业:计算机应用技术硕士生:王皎指导教师:董丽丽摘要随着数据规模的急速增大,应用种类的极大丰富,个人用户和企业对信息的需求已经远远超过了原有平台的能力。越来越多的应用和平台,不论对企业级还是个人级用户都不堪重负,Hadoop平台作为一个开源的,且运行在集群上的大型数据库处理框架得到了广泛应用,然而由于Hadoop还比较年轻,在很多地方还有改进和修改的可能。本文通过广泛的调研,介绍了云计算的定义和关键技术,对基于云计算的Hadoop平台的两大核心Ma
2、preduce和HDFS进行了深入的研究。论文重点分析了现有的3种调度算法:先入先出调度算法(FIFO)、公平调度算法(Fair-Scheduler)和计算能力调度算法(CapacityScheduler)的设计思路和优缺点,并针对Hadoop的参数过多难以设置和调度算法过多难以选择的问题,提出了一种海量数据的抽样算法,设计了基于该算法的改进Hadoop框架,即在原有框架基础上加入了策略选择层,从而解决上述两个问题。最后对Hadoop平台重新打包并进行实验验证,实验结果表明,和以前版本相比,其处理海量数据问题的性
3、能有了明显的改进。关键词:Hadoop;Mapreduce;HDFS;调度算法;策略选择层论文类型:应用研究西安建筑科技大学硕士学位论文ResearchofJobSchedulingtechnologyinHadoopPlatformMajor:ComputerApplicationandTechnologyName:WangJiaoInstructor:Prof.DonngLiliAbstractWiththerapidincreaseofdatasizeandthegreatwealthoftheapplic
4、ationtypes,thedemandofinformationtoconsumerandcorporatefarexceedstheabilityoftheoriginalplatform.enterprise-levelorindividual-levelisoverwhelmedbymoreandmoreapplicationsandplatfom.theHadoopplatformasanopensourceframeworkwhichhandlelargedatabaserunningontheclu
5、sterbecomesmoreandmorepopular.however,Hadoopisstillyoung,Therearemanyplaceshavethepossibilitytomakechangesandimprovements.Throughextensiveresearch,thispaperintroducesthedefinitionofcloudcopmutingandkeytechnologies,In-depthresearchsontheMapreduceandtheHDFSofHa
6、doopcore..then,thispaperanalyzethedesignideasandtheadvantagesanddisadvantagesofexistingthreeschedulingalgorithms:FIFO,Fair-Scheduler,CapacityScheduler.FortheproblemthatHadoopparameterstoomuchtosetupandschedulingalgorithmtoomuchdifficulttochoose,proposeasampli
7、ngalgorithmbasedonhugeamountofdata.anddesigntheimprovedHadoopframeworkwhichjointhestrategicchoicelayertosolvethetwoproblem.finally,itrepackageandexperimenttheHadoopplatform.Comparedwiththeoldversion,Theresultsshowthatthereisobviousimprovementsindealingwithmas
8、sivedata.Keywords:Hadoop;Mapreduce;HDFS;Schedulingalgorithm;Strategic-choiceLayerThesisType:ApplicationStudy西安建筑科技大学硕士学位论文目录1绪论............................................................
此文档下载收益归作者所有