基于异构集群环境下hadoop作业调度优化的研究

《基于异构集群环境下hadoop作业调度优化的研究》由会员上传分享，免费在线阅读，更多相关内容在教育资源-天天文库。

1、基于异构集群环境下Hadoop作业调度优化的研究科技广场2015.9潘丹甘宏PanDanGanHong（广州城建职业学院，广东广州510925）（GuangzhouCityConstructionCollege，GuangdongGuangzhou510925）摘要：随着计算机技术的发展与信息化的普及，大规模数据处理已经成为计算机产业界的焦点问题和学术界的研究热点。Hadoop是云计算的分布式开源的实现平台，在大规模数据处理方面有着高容量、低成本等优势，也是一个运行在大型集群之上的并行处理系统。Hadoop云平台上的调度算法是对用户作业进行资源分配和调度执行的程序，它的选择合适与否直接关系到用

2、户作业的执行效率。因此，对Hadoop上作业调度算法的研究和改进优化就显得极为重要。本文通过实验验证作业重调度具有更好的响应时间和吞吐量，具有良好的负载均衡，并且大大提高了Hadoop系统在异构平台上的性能。关键词：异构集群环境；Hadoop；作业重调度；优化算法中图分类号：TP302；TP393文献标识码：A文章编号：1671-4792（2015）09-0016-04Abstract：Withthedevelopmentofcomputertechnologyandthepopularizationofinformationtechnology,large-scaledataprocessi

3、nghasbecomethefocusofthecomputerindustryandacademia.Hadoopisadistributedopensourceplatformforcloudcomputing.Ithasadvantagesofhighcapacityandlowcostinlargescaledatapro-cessing.Itisalsoaparallelprocessingsystemrunningonalargecluster.SchedulingalgorithmontheHadoopcloudplatformisaprogramthatperformsreso

4、urceallocationandschedulingforusertasks,anditisdirectlyrelat-edtotheexecutionefficiencyofusers.SoitisveryimportanttostudyandimprovetheschedulingalgorithmofHadoop.Inthispaper,weshowthatthejobschedulinghasbetterresponsetimeandthroughput,andhasagoodloadbalance,whichgreatlyimprovestheperformanceofHadoop

5、systemonheterogeneousplatforms.0引言近年来，云计算技术在工业界和学术界共同推动下取得了巨大的发展，大量的云计算系统投入使用。其中，大多数的云计算系统采用Hadoop平台来开发和调度程序。MapReduce是Google于2004年提出的一种并行计算模型，其最根本的含义是：任务的分解与结果的汇总。该模型充分利用集群提供的海量存储能力和并行计算能力，把数据和计算任务分派到数以千计的集群节点上执行[1]。参考Google的计算模型，Hadoop是由Apache开源组织开发的一个分布式的具有可靠性和可扩展性的存储与并行计算平台，其核心实现了用于分布式存储的HDFS（Ha

6、doopDistributedFileSystem）文件系统和用于分布式计算的MapReduce计算框架[2]。在HadoopMapReduce计算架构中，作业被划分成与数据块数目等同的Map任务和若干Reduce任务，由主控的JobTracker将这些Map任务和Reduce任务调度到有空闲资源槽（slot)的TaskTracker节点上执行。Hadoop默认的调度器主要针对同构集群计算资源，然而，由于硬件升级换代或云计算资源虚拟化等原因，集群节点的异构性不可避免。因此，在目前Hadooop基础上，对作业调度进行优化，以充分发挥异构计算资源的潜力、提高作业的执行效率就非常必要。1Hadoop

7、默认的作业重调度机制如前所述，Hadoop默认的调度器主要针对同构集群计算资源。然而，即使在同构环境下，也可能由于资源竞争或分配不公导致某些任务（task）执行落后，从而影响整个作业（Job）的进度。为了解决这个问题，Hadoop采用了一种投机执行（SpeculativeEx-ecution）的策略，即在执行过程中，通过计算每个任务的执行进度（Progressscore），及时发现执行落后的任务（