异构环境下自适应的MapReduce调度

《异构环境下自适应的MapReduce调度》由会员上传分享，免费在线阅读，更多相关内容在行业资料-天天文库。

1、万方数据CN43-1258／TPlSSN1007—130X计算机工程与科学COMPUTERENGINEERING&SCIENCE2009年第31卷第Al期V01．31，No．A1，2009文章编号：1007—130X(2009)A1—0168-04异构环境下自适应的Map—·Reduce调度Self——AdaptiveMap——ReduceSchedulingUnderHeterogeneousEnvironment陈全。邓倩妮CItENQuaII。DENGOan-ni(上海交通大学计算机科学与工程系。上海200240)(DepartmentofComput

2、erScienceandEngineering，ShanghaiJitmTongUniversity-Shanghai200240，China)摘要：本文针对Hadoop自带的Map-Reduce调度器和LATE调度器的不足，提出了自适应的Map-Reduce调度方式。通过历史信息动态调整Map和Reduce任务各阶段的时间比例，以找出真正需要启动备份任务的任务。并将节点进一步分类，在快速节点上启动落后任务的备份任务，从而减小响应时间，并尽量避免节点空载，以免浪费系统资源。最后通过具体实验验证了自适应的Map-Reduce调度的有效性，从历史信息中学习的方式

3、在实验中能减少15％左右的响应时间，综合各种技术，能够减少25％左右的响应时间。Abstract：Thispaperproposesaself-adaptiveMap-Reduceschedulingapproach，accordingtOdrawbacksofHadoop’SMap-ReduceschedulerandLATEscheduler．Forfindingthecorrecttaskswhichneedback-uptasks。intheproposedmeth—ods，theschedulerdynamicallyadjuststhetimep

4、roportionsofeachstageofMapandReducetasksaccordingtOhistoricalin-formation．Andtheschedulerfurtherclassesallthenodes，forlaunchingbackuptasksofslowtasksonfastnodes．There_by，reducingresponsetimeandtryingbestnottOleavenodesidle，SOasnottowastesystemresource&Throughspecificexperiments，thi

5、spaperverifiesthatthemethodoflearningfromhistoricalinformationcandecreasetheresponsetimeby15％inthetestcluster．Andbyusingallthemethodswhichhasproposedinthispaper，theresponsetimewilldecreasea—bout25％．关键词：Map-Reduce；异构环境；调度算法；自适应Keywords：Map-Reduce；heterogeneousenvironment；schedulinga

6、lgorithm；self-adaptiondoi：10．3969／j．issn．1007—130X．2009．A1．047中图分类号：TP302文献标识码：A1引言近年来需要处理的数据的规模越来越大，这导致了云计算[1]和数据密集型计算[2j的迅速发展。MapRedued：3]是云计算的编程模型和任务调度方式。Map-Reduce不仅在云计算中有广泛的应用，在多核处理器[4

7、、CellPr咖rL5j和GPU的并行任务调度[6]上也有广泛应用。主要集中在将Map-Reduce调度方式应用于其他任务调度场景中。Hadoop[凡8]是Map-Reduce调度方式

8、和GFCJ钉数据存储方式的开源实现。Hadoop自带的Map-Reduce调度器仅考虑同构环境，在异构环境下效率低下。LATE．[10]调度器考虑了系统的异构性，通过为剩余时间最长的任务启动备份任务的方法，提高Map-Reduce在异构环境下的效率。本文提出的自适应的Map-Reduce调度器在LATE调度器的基础卜进～步改进，从备份任务选择、慢节点判定两个方面提高调度器效率；通过历史信息动态地调整Map任务两阶段和Reduce任务三阶段的比例，更准确地找到需要启动备份任务的慢任务，减少任务的响应时间；并将慢节点分为Map任务慢节点和Reduce任务慢节点，

9、提高系统资源利用率。论文组织如下：第2节，分析现有调