多用户mapreduce集群的作业调度

《多用户mapreduce集群的作业调度》由会员上传分享，免费在线阅读，更多相关内容在工程资料-天天文库。

1、多用户mapreduce集群的作业调度一、简介HadoopMapReduce和它的开源实现最初优化大型批作业如web索引结构。然而，另一个用例近期显现:在多个用户之间共享一个MapReduce集群，它运行的长批处理作业、短交互式查询共亭一个公共数据集。使统计复用，相比于为每组构建私有集群成本更低。分亨一个集群也会导致数据整介（主机托管不同的数据集）。这避免了昂贵的跨私有集群复制的数据，并允许一个组织在不相交的查询数据集高效地运行。我们的工作最初是出于MapReduce工作负载在Facebook,主要的网络目的地运彳亍Hadoop数据仓库。事件H志从Facebook的网站被导入到Hadoop集群

2、每小时,在那里他们被用于各种各样的应用程序，包括分析使用模式来改进网站设计、检测垃圾邮件，数据挖掘和广告优化。仓库600台机器上运行，存储500TB的压缩数据，这是每天2TB速度增长。除了“生产”工作,必须定期运行，有很多实验工作，从儿个小时机器学习儿天计算到1-2分钟即席查询提交通过SQL接口Hadoop称为蜂房⑶。当Facebook开始建造数据仓库，它发现提供数据整合共享集群人有益处。例如，一位工程师在垃圾邮件检测时可以在任意数据源寻找规律，比如刖友列表和广告点击，来识别垃圾邮件发送者。然而，当足够的组织开始使用Hadoop,工作响应吋间开始遭受Hadoop的FIFO调度程序影响。这对生产

3、工作來说不可接受而且使交互式查询成为可能，大大减少了系统的效率。一些组织在Facebook考虑建造私有集群为自己的工作负载，但为许多应川程序调整太昂贵。为了解决这个问题，我们设计和实现了一个Hadoop公平调度器。我们的调度器给每个用户拥有一个私人的Hadoop集群的假象,i±用户在几秒内开始工作和运行交互式查询，同吋利用底层共享集群效率。在开发过程中，我们发现了几个在MapReduce设置调度挑战我们的地址。我们发现,现有的调度算法町以在MapReduce表现很差，有辱人格的吞吐量和响应时间的因素2・1（）,由于设置的两个方面:数据木地化（附近的需要运行计算数据）和map和reduce任务Z

4、间相互依存。我们开发了两个简单的、健壮的算法来克服这些问题:延迟调度和copy-compute分裂。提高我们的技术提供2-1Ox的吞吐量和响应吋间在一个多用户的工作量,但也可以在单用八增加吞吐量,FIFO工作负载的2倍。虽然我们现在我们的结果在MapReduce设置，他们推广到任何基于数据流的集群计算系统，像dryad［20Jo我们地址的位置和相互依存关系问题是人规模的方式来表述数据并行处理的计算。有两个方面，区分调度在MapReduce从传统的集群调度［12］。第一个方面是需耍数据本地化，即。，将任务节点包含输入数据。本地网络対分带宽性能是至关重要的，因为在一个大集群远低于总带宽的磁盘机［1

5、6］。传统的集群调度程序，给每个用户一组固定的机器,如扭矩［12］,显著降低性能，因为在Hadoop文件分布在所有节点在GFS［19］。电网调度程序像秃悶［22］支持位置约束，但只冇在地理网站，不是机器，因为他们像MapReduce运行epu密集型应用程序,而不是数据密集型工作负载。即使有粒状公平调度器，我们发现位置在两种情况:并发工作和小的工作。我们通过一种称为延迟调度的技术解决这一问题，可以双吞吐量。MapReduce导致问题的笫二个方面是map和reduce任务Z间的依赖:减少任务不能完成,直到所有地图任务在完成他们的工作。这种相互依存，没有出现在传统的集群调度模型，可导致未充分利用和饥

6、饿:长期工作，获得减少槽在许多机器不会释放他们左到其映射阶段完成,饥饿的其他工作，而未充分使用预留槽。我们提出一个简单的称为copycomputc分割的技术为解决这一问题,主要在2-1Ox增加吞吐量和响应时间。减少/地图的依赖还创建了其他动力学没有出现在其他设置:例如，即使行为端正的工作，公平分享MapReduce,它需要更长的时间比FIFO完成一批工作;这不是真正的环境中，比如包调度，公平共享保护工作。另一个问题是,不能删除映射阶段产牛的屮间结果，直到工作结束，消耗磁盘空间。我们在笫七节探索这些问题。虽然我们激励我们的工作Facebook的案例研究，我们解决的问题绝不是限制到一个数据仓库的工

7、作量。我们接触的另一个主要网络公司使用Hadoop确认关于研究集群的最大抱怨用户有漫长的排队延迟。我们的工作也是相关的儿个学术Hadoop集群己经宣布。这样一个集群己经使用我们的公平调度器2000节点上。一•般來说，有效的调度是更重要的比其他设置，因为在集郡数据密集型计算资源共享（集群）是非常昂贵的，因为数据是很难（所以数据整合提供了重要的价值）。本文的其余部分组织如下。第二节提供了背景Hadoo