hadoop集群作业的调度研究

《hadoop集群作业的调度研究》由会员上传分享，免费在线阅读，更多相关内容在教育资源-天天文库。

1、Hadoop集群作业的调度研究ContentsHadoop和MapReduce简介1Hadoop的集群作业调度原理2如何编写自己的Hadoop调度器4结论与展望5Hadoop的集群作业调度算法3ContentsHadoop和MapReduce简介1Hadoop的集群作业调度原理2如何编写自己的Hadoop调度器4结论与展望5Hadoop的集群作业调度算法31、Hadoop简介Hadoop是基于java分布式密集数据处理和数据分析的软件框架提供了廉价的处理大数据的可能是开源生态系统，淘宝、腾讯、百度、新浪、facebook、yahoo

2、、amazon、ebay、twitter都在用Hadoop简介各种业务应用hiveDBaseMapReduceHDFShadoop的业界标准核心Hadoop简介各种业务应用hiveDBaseMapReduceHDFShadoop的业界标准核心简单来说，就是任务的分解和结果的合成。MapReduce工作原理MapReduce是用于并行处理大数据的软件框架。计算机集群MapReduce工作原理流程如下：任务①分解小任务小任务小任务发送部分信息③传送反馈部分信息部分信息结果④整合HDFS架构简介ContentsHadoop和MapRed

3、uce简介1Hadoop的集群作业调度原理2如何编写自己的Hadoop调度器4结论与展望5Hadoop的集群作业调度算法3HadoopMapReduce引擎是由JobTracker和TaskTracker组成，下图是Hadoop的结构。1、HadoopMapReduce引擎2、MapReduce工作机制3、Hadoop调度流程TaskTrackerTaskTrackerTaskTrackerJobTrackerTaskScheduler④assignTasks()⑤tasklist③

4、NewTask>⑥tasks-to-lauchTask⑦launch③③Client①submitJob()②notifyinitJob()？？？？？？？？？？？？？？Hadoop作业包含一些map任务和task任务。这些任务在集群的节点的任务槽(slots)上执行。每一个节点根据其计算资源配置有一系列的map任务槽和reduce槽，典型入每个节点cpu的一个核当作一个slot。调度器的任务就是为任何空闲的slot分配任务。所有调度器实际上均采用了三级调度策略，即为空闲的slot依次选择一个队列、作业和任务。队列（queue）用户被

5、划分到某个队列每个队列分配一定量的资源作业（job）提交时间优先级（5个优先级：VERY_HIGH,HIGH,NORMAL,LOW,VERY_LOW）任务（task）本地性（nodelocality，racklocality）不同调度器，采用策略不同不同调度器，采用策略相同4、Hadoop三级调度ContentsHadoop和MapReduce简介1Hadoop的集群作业调度原理2如何编写自己的Hadoop调度器4结论与展望5Hadoop的集群作业调度算法3传统调度器：FIFO批处理调度器FairScheduler多用户调度器Cap

6、acityScheduler多用户调度器新特性调度器：适用于异构负载的调度器适用于异构集群的调度器LATE适用于实时作业的调度器Constraint-basedSchedulerHadoop现有调度器最早的HadoopMap/Reduce计算架构中，JobTracker在进行作业调度时使用的是FIFO(FirstInFirstOut)算法。所有用户的作业都被提交到一个队列中，然后由JobTracker先按照作业的优先级高低，再按照作业提交时间的先后顺序选择将被执行的作业。FIFO比较简单，hadoop中只有一个作业队列，被提交的作业

7、按照先后顺序在作业队列中排队，新来的作业插入到队尾。一个作业运行完后，总是从队首取下一个作业运行。这种调度策略的优点是简单、易于实现，同时也减轻了jobtracker的负担。但是它的缺点也是显然的，它对所有的作业都一视同仁，没有考虑到作业的紧迫程度，另外对小作业的运行不利。1、FIFO调度器FIFO调度器job1按到达时间排序，先来先服务job2job3job4job5job6job7job8maptask0maptask1maptask2reducetask0reducetask1reducetask2maptask3maptas

8、k4maptask5job1queueFIFO调度器job1按到达时间排序，先来先服务job2job3job4job5job6job7job8maptask1failedTa