4hadoop 2.0基本架构和发展趋势_董西成

《4hadoop 2.0基本架构和发展趋势_董西成》由会员上传分享，免费在线阅读，更多相关内容在学术论文-天天文库。

1、Hadoop2.0基本架构与发展趋势演讲人：董西成技术博客：dongxicheng.org微博ID：西成懂（私信开放）提纲•什么是Hadoop2.0？•什么是YARN？•YARN的现状？•YARN发展趋势？•MapReduce与YARN的关系？提纲•YARN产生背景•YARN基本架构•多角度理解YARN•YARN发展趋势•总结提纲•YARN产生背景•YARN基本架构•多角度理解YARN•YARN发展趋势•总结Hadoop2.0由HDFS、MapReduce和YARN三个分支构成；HDFS：NNFederation、HA；MapReduce：运行在Y

2、ARN上的MR；YARN：资源管理系统YARN产生背景直接源于MRv1在几个方面的无能扩展性受限单点故障难以支持MR之外的计算多计算框架各自为战，数据共享困难MR：离线计算框架Storm：实时计算框架Spark：内存计算框架提纲•YARN产生背景•YARN基本架构•多角度理解YARN•YARN发展趋势•总结YARN基本架构YARN基本架构TaskContainer⑥NodeTaskManagerContainerClient①⑤④②③ApplicationResourceMasterClientManagerNodeManager⑤⑤C

3、lientNodeManagerTaskContainer⑥YARN基本架构ResourceManager处理客户端请求启动/监控ApplicationMaster监控NodeManager资源分配与调度NodeManager单个节点上的资源管理处理来自ResourceManager的命令处理来自ApplicationMaster的命令ApplicationMaster（以MRAppMaster为例）数据切分为应用程序申请资源，并分配给内部任务任务监控与容错提纲•YARN产生背景•YARN基本架构•多角度理解YARN•YARN发

4、展趋势•总结单机并行计算角度功能：完成子线程子线程子线程mainThread分childThreadchildThreadchildThread配的任务功能：多线程主线程的创建与监控mianThread（容错）、数据分片与分配操作系统（Linux/Windows）单机并行计算角度功能：处理分配的任数据量TaskTaskTask功能：任务的Application创建与监控Master（容错）、数据分片与分配YARN（云操作系统）云计算角度SAAS(Software-as-a-Service)三层PAAS(Platform-as-a-Service)MRSt

5、ormHBase架构IAAS(Infrastructure-as-a-Service)YARN集群管理系统角度MRStromMRStorm……YARNNodeNodeNodeNodeNodeNodeNodeNode集群管理系统角度HadoopStormMPI集群管理系统角度（好处）资源利用率高运维成本降低数据共享提纲•YARN产生背景•YARN基本架构•多角度理解YARN•YARN发展趋势•总结YARN发展现状与趋势目前位于alpha版，下个月发布2.1.0-beta版多种系统正在往YARN上转移调度模型和资源隔离等方面存在不足，多种系统不易

6、运行在YARN上运行在YARN上的软件系统链接阅读我的博客文章：“汇总运行在HadoopYARN上的开源系统”http://dongxicheng.org/mapreduce-nextgen/run-systems-on-hadoop-yarn/应用场景分类【注】摘自HortonworksPPT：“StingerInitiative:DeepDive”运行在YARN上带来的好处一个集群部署多个版本计算资源按需伸缩不同负载应用混搭，集群利用率高共享底层存储，避免数据跨集群迁移调度模型支持CPU和内存两种资源调度；Resource-centric

7、Scheduling（NOTTask-centricScheduling）调度场景是否支持应用举例任意K个√MR、Tez等Container（位置没有要求）K个独占K个节点√HBase、MPI等的containerK个来自同一机架×Storm等的containerContainer可绑定×MPI等到固定CPU上资源隔离支持CPU和内存两种资源隔离采用Cgroups对CPU隔离采用线程监控内存方案（借鉴MRv1）MapReduce与YARN目前MapReduce有两个版本：独立版和YARN版；独立版运行时环境由JobTracker、TaskTra

8、cker、MapTask、ReduceTask等组成；YARN版MapRedu