基于hadoop平台的动态自适应作业调度算法研究

《基于hadoop平台的动态自适应作业调度算法研究》由会员上传分享，免费在线阅读，更多相关内容在学术论文-天天文库。

1、万方数据分类号UDC密级学位论文基于Hadoop平台的动态自适应作业调度算法研究作者姓名：指导教师：申请学位级别：学科专业名称：论文提交日期：学位授予日期：评阅人：王瑶蒋学英副教授东北大学信息科学与工程学院硕士学科类别：工学计算机软件与理论2014年6月论文答辩日期：2014年6月2014年7月答辩委员会主席：王翠荣袁静波、金顺福东北大学2014年6月万方数据AThesisinComputerSoftwareandTheoryResearchingonDynamicAdaptiveJobSchedulingAlg

2、orithmBasedonHadoopPlatformByWangYaoSupervisor：AssociateProfessorJiangXueyingNortheasternUniversityJune2014万方数据独创性声明本人声明，所呈交的学位论文是在导师的指导下完成的。论文中取得的研究成果除加以标注和致谢的地方外，不包含其他人己经发表或撰写过的研究成果，也不包括本人为获得其他学位而使用过的材料。与我一同工作的同志对本研究所做的任何贡献均己在论文中作了明确的说明并表示谢=6二思0学位论文作者签名：工磁日

3、期：矽／牛厂心学位论文版权使用授权书本学位论文作者和指导教师完全了解东北大学有关保留、使用学位论文的规定：即学校有权保留并向国家有关部门或机构送交论文的复印件和磁盘，允许论文被查阅和借阅。本人同意东北大学可以将学位论文的全部或部分内容编入有关数据库进行检索、交流。作者和导师同意网上交流的时间为作者获得学位后：半年口一年口一年半口两年一学位论文作者签名：L韬导师签名：存罾蒡签字日期：砂忡∥，西签字日期：2。，髟、莎，z厂万方数据东北大学硕士学位论文摘要基于Hadoop平台的动态自适应作业调度算法研究摘要一种基于互联

4、网技术产生、发展的新式计算模式一一云计算正在不断改变人们的传统网络计算的理解。云计算这一技术很好地解决了对海量数据处理的需求，其可以认为是未来新一代信息技术变革的核心，是IT产业的第三次大变革。本文选取具有诸多优势的开源Hadoop云计算平台作为研究对象。目前对于Hadoop平台的一个研究热点就是作业调度和资源分配问题，这两个问题关系到Hadoop平台的整体性能和资源利用率的提升。本文在研究Hadoop平台原有的作业调度算法和深入理解蚁群算法原理的基础上，为提高平台整体的执行效率和资源利用率，对算法在资源调度、参

5、数配置和任务分配方面进行改进。提出一种基于Hadoop平台的动态自适应作业调度算法。通过算法执行过程中实时监控各个资源节点计算能力的变化，并通过反馈机制将这些信息传递给控制节点，后者通过改进相关参数对算法做出动态调整，实现每个任务分配最优执行资源节点的目的。最后，搭建Hadoop实验平台，对本文提出的基于Hadoop平台的动态自适应作业调度算法的运行效率进行实验分析。验证了本文提出的调度算法在异构环境下可以有效提高作业执行效率，有效缩短了总体运行时间，提高平台的整体性能。关键词：作业调度算法；动态自适应；蚁群算法

6、；Hadoop；MapReduce．II．万方数据东北大学硕士学位论文AbstractResearchingonDynamicAdaptiveJobSchedulingAlgorithmBasedonHadoopPlatformAbstractCloudcomputing，akindofnewcalculationmodel，basedonInternettechnologyischangingpeople’Sunderstandingofnetworkcomputing．Itsolvestheneedforhu

7、geamountsofdatastorageandhandling．CloudcomputingCallbethoughtofastheCOreofthechangeofanewgenerationofinformationtechnologyinthefuture．ItCallberegardedasthet11irdwaveoftheITindustry．ThispaperselectsHadoopCloudComputingPlatformastheresearchobject．Nowaresearchfo

8、cusintheHadoopplatformisjobschedulingandresourceallocationproblems，theyrelatetotheoverallperformanceandresourceutilizationofascensionofHadoopplatform．Basedonthestudyofcommonlyusedjobsched