MESOS与YARN选型分析

《MESOS与YARN选型分析》由会员上传分享，免费在线阅读，更多相关内容在教育资源-天天文库。

1、SouthChinaNormalUniversity云计算论文论文题目：MESOS与YARN选型分析学生学号：20122101044学生姓名：包怡鹏所在院系：计算机学院所学专业：计算机科学与技术指导教师：郑伟平完成时间：2015年1月2日一．摘要运用统一资源管理与调度平台可以提高系统的速度和资源利用率，正确的运用还会大幅提高系统的稳定性，同时节省系统的开销。支持动态调整区分资源，增强系统的扩展属性，进行动态扩展，使计算机运行更加合理。二．关键词资源利用率框架集群平台数据三．正文1.统一资源管理与调度平

2、台背景随着互联网的高速发展，基于数据密集型应用的计算框架不断出现，从支持离线处理的MapReduce，到支持在线处理的Storm，从迭代式计算框架Spark到流式处理框架S4，各种框架诞生于不同的公司或者实验室，它们各有所长，各自解决了某一类应用问题。而在大部分互联网公司中，这几种框架可能都会采用，比如对于搜索引擎公司，可能的技术方案如下：网页建索引采用MapReduce框架，自然语言处理/数据挖掘采用Spark，对性能要求很高的数据挖掘算法用MPI等。考虑到资源利用率，运维成本，数据共享等因素，公司

3、一般希望将所有这些框架部署到一个公共的集群中，让它们共享集群的资源，并对资源进行统一使用，这样，便诞生了资源统一管理与调度平台，典型代表是Mesos和YARN。运用统一资源管理与调度平台可以提高系统的速度和资源利用率，正确的运用还会大幅提高系统的稳定性，同时节省系统的开销。支持动态调整区分资源，增强系统的扩展属性，进行动态扩展，使计算机运行更加合理。2.统一资源管理与调度平台特点首先是要支持多种计算框架，提供资源隔离。其次要有扩展性和容错性。最后要有高资源的利用率和细粒度的资源分配。以提高资源利用率。

4、3.MESOS与YARN的介绍(1)MESOS的介绍MESOS背景：诞生于UCBerkeley的一个研究项目，现已成为ApacheIncubator中的项目，当前有一些公司使用MESOS管理集群资源，比如Twitter。MESOS的总体构架：同其他大部分分布式系统一样，ApacheMesos为了简化设计，也是采用了masterslave结构，为了解决master单点故障，将master做得尽可能地轻量级，其上面所有的元数据可以通过各个slave重新注册而进行重构，故很容易通过zookeeper解决该单

5、点故障问题。ApacheMesos由四个组件组成，分别是Mesos-master，mesos-slave，framework和executor。Mesos-master是整个系统的核心。MESOS的调度机制：调度器是Mesos的核心部件，主要负责将各个slave上资源分配给各个framework，常见的调度机制有FIFO，FairScheduler，CapacityScheduler，Quincy，Condor等。Mesos中的调度机制被称为ResourceOffer，采用了基于资源量的调度机制，这不

6、同于Hadoop中的基于slot的机制。在mesos中，slave直接将资源量（CPU和内存）汇报给master，由master将资源量按照某种机制分配给framework，其中“某种机制”是DominantResourceFairness（DRF）。(2)YARNYARN产生的背景：运维成本和数据共享问题。如果采用“一个框架一个集群”的模式，则可能需要多个管理员管理这些集群，进而增加运营成本，而共享模式通常需要少数管理员即可完成多个框架的统一管理。随着数据量的暴增，跨集群间的数据移动不仅需花费更长的

7、时间，且硬件成本也会大大增加，而共享集群模式可以让多种框架共享数据和硬件资源，将大大减少数据移动带来的成本。直接源于MRv1存在扩展性受限、单点故障、难以支持MP之外的计算三方面的缺陷。多计算框架各自为战，数据共享困难。YARN的总体构架：ResourceManager的整个集群只有一个，负责集群资源的统一管理和调度。功能有处理客户端的请求、启动/监控ApplicationMaster、监控NodeManeger和资源的分配与调度。NodeManeger的整个集群有多个，负责单节点资源的管理与使用。功

8、能有单节点上的资源管理和任务管理、处理来自ResourceManeger的命令和处理来自ApplocationgMaster的命令。ApplicationMaster每个应用上有一个，负责应用程序的管理。功能有数据切分、为应用程序申请内部资源并进一步分配给内部任务和任务的监控与容错。Container对任务运行环境的抽象，描述一系列信息，任务运行资源、任务启动命令和任务的运行环境。1.MESOS与YARN的选择(1)MESOS与YARN的比较：担任的角色