云计算平台作业调度算法优化研究

《云计算平台作业调度算法优化研究》由会员上传分享，免费在线阅读，更多相关内容在学术论文-天天文库。

1、单位代码10445学号2011021096分类号TP391研究生类别全日制硕士学位论文论文题目云计算平台作业调度算法优化研究学科专业名称计算机软件与理论申请人姓名徐鹏指导教师王红教授论文提交时间2014年5月30日万方数据独创声明本人声明所呈交的学位论文是本人在导师指导下进行的研究工作及取得的研究成果。据我所知，除了文中特别加以标注和致谢的地方外，论文中不包含其他人已经发表或撰写过的研究成果，也不包含为获得（注：如没有其他需要特别声明的，本栏可空）或其他教育机构的学位或证书使用过的材料。与我一同工作的同

2、志对本研究所做的任何贡献均已在论文中作了明确的说明并表示谢意。学位论文作者签名：学位论文版权使用授权书本学位论文作者完全了解学校有关保留、使用学位论文的规定，有权保留并向国家有关部门或机构送交论文的复印件和磁盘，允许论文被查阅和借阅。本人授权学校可以将学位论文的全部或部分内容编入有关数据库进行检索，可以采用影印、缩印或扫描等复制手段保存、汇编学位论文。（保密的学位论文在解密后适用本授权书）学位论文作者签名：导师签字：签字日期：20年月日签字日期：20年月日万方数据山东师范大学硕士学位论文云计算平台作业调

3、度算法优化研究摘要随着互联网规模的不断增加，用户大量的数据需要进行处理和存储，传统的服务器集群无法满足用户大数据的需求。现在云计算已经成为一个最典型的解决方案，它为用户提供了海量数据处理、海量数据存储、按需获取计算能力等服务。云计算概念一经提出就受到了学术界和工业界的广泛关注，许多公司都推出了自己的云计算平台。其中，大多数云计算平台是使用Hadoop开发的，Hadoop是一个运行在大型集群上进行大数据存储和并行计算的分布式开源框架，它将底层的并行化对开发者透明，应用程序的开发者只需要按照接口要求实现代码

4、就能实现分布式处理。但是，Hadoop是一个比较新的平台，许多地放还不够成熟，需要改进的地方也很多。Hadoop平台的性能与其作业调度算法密切相关，选择合适的调度算法对Hadoop平台的资源利率和系统吞吐量有很大的影响。但是，Hadoop中现有的调度算法有许多不足之处，因此，研究Hadoop平台作业调度算法，并进行优化和改进，对Hadoop平台性能的提升具有重大意义。本文主要完成了以下工作：1、对云计算技术进行了介绍，重点分析了Hadoop平台的技术背景和组成架构，详细分析了HDFS文件系统的读写流程和

5、MapReduce编程框架。2、对Hadoop平台下的作业调度流程进行了深入的剖析，重点介绍了现有的几种作业调度算法：FIFO调度算法、计算能力调度算法、公平份额调度算法和LATE调度算法，分析了他们的算法思想和主要优缺点。3、针对现有调度算法不适应异构环境的问题，提出了一种改进的调度算法，该算法根据系统信息，将作业进行分类，并做出调度策略。通过优化算法将作业与节点进行匹配，提高系统的整体性能。4、针对现有调度算法未考虑作业和节点的负载类型的问题，提出了一种基于资源感知的调度算法，该算法将作业和节点类型

6、进行划分，并按照节点的负载情况选择合适的任务进行调度。5、为了验证算法的性能，搭建了Hadoop实验集群，并收集了大量测试数据对算法的性能进行验证。实验结果表明，我们提出的两种调度算法能够很好的提升Hadoop平台的性能。关键词：云计算；Hadoop；MapReduce；作业调度；资源感知；异构；I万方数据山东师范大学硕士学位论文JobschedulingalgorithmoptimizationofthecloudplatformAbstractAstheInternetscalekeepsgrowi

7、ngup,enormoususer’sdataneedstobeprocessedandstorage.Traditionalserverclustercannotmeettheneedsofusers.Cloudcomputingisnowbecomingaleadingexamplesolutionforthis.Itprovidesuserswithmassivedataprocessing,massdatastorage,on-demandaccesstocomputingpowerandoth

8、erservices.Aftertheconceptofcloudcomputingisintroduced,itiswidelyconcernedbyacademiaandindustry.Manycompanieshavelaunchedtheirowncloudcomputingplatform.Amongthem,mostcloudcomputingplatformisdevelopedbyHadoop.Hadoopisanopen