基于YARN的混合结构调度器的研究和优化

《基于YARN的混合结构调度器的研究和优化》由会员上传分享，免费在线阅读，更多相关内容在学术论文-天天文库。

1、硕士学位论文基于YARN的混合结构调度器的研究和优化RESEARCHANDOPTIMIZATIONOFYARN-BASEDHYBRIDSTRUCTURESCHEDULER张垚杰哈尔滨工业大学2018年6月国内图书分类号：TP316.4学校代码：10213国际图书分类号：004.45密级：公开工程硕士学位论文基于YARN的混合结构调度器的研究和优化硕士研究生：张垚杰导师：左德承教授申请学位：工程硕士学科：计算机技术所在单位：计算机科学与技术学院答辩日期：2018年6月授予学位单位：哈尔滨工业大学ClassifiedIndex:TP316.4U.D.C:004.45Dissertationfort

2、heMasterDegreeinEngineeringRESEARCHANDOPTIMIZATIONOFYARN-BASEDHYBRIDSTRUCTURESCHEDULERCandidate：ZhangYaojieSupervisor：Prof.ZuoDeChengAcademicDegreeAppliedfor：MasterofEngineeringSpeciality：ComputerTechnologyAffiliation：SchoolofComputerScienceandTechnologyDateofDefence：June,2018Degree-Conferring-Insti

3、tution：HarbinInstituteofTechnology哈尔滨工业大学工程硕士学位论文摘要目前大数据技术迅速渗透了各行各业，也产生了多种数据处理需求：批处理、实时事件处理、机器学习等。在这样的背景下，Hadoop在其第二代（Hadoop2.0）引入了YARN进行资源管理，YARN是Hadoop提供的解决多维需求的方法，将Hadoop从单一的“批量存储/处理”系统，转换成真正的多用途平台。然而，通过分析生产环境中这样异构的负载，我们发现集群中的任务不成比例地共享资源，即少量长任务消耗了大部分集群资源。同时还发现，这样的负载下存在大量的资源碎片，即已经分配但是还未使用的资源。因此，本文

4、通过拓展YARN，采用混合结构的调度方式，从而将长短任务分开进行处理，并且让分布式调度器利用资源碎片。本文在YARN的基础上研究了混合结构调度方式，即向原先的调度系统中添加分布式调度器。此时调度系统中存在两种调度器，这两种调度器各有不同的特点：1）中央调度器可以为异构的应用提供严格的调度不变量保证（例如fairness、capacity）；2）分布式调度器可以提供可拓展的高效的调度，但是难以实现调度不变量。我们设计使用中央调度器来处理长任务，因为中央调度有全局的资源视图，可以从多个维度优化资源分配。对于短任务，我们使用分布式调度器通过过分配的方式来利用集群中的资源碎片。因为现在整个调度系统中有

5、两条调度路径，我们首先要解决的问题是如何选取合适的调度路径。我们将这个工作放在应用框架中来做，因为应用更能理解自己对资源的需求。不失一般性地本文在MapReduce框架中使用采样执行和回归分析相结合的方法来鉴别短任务。另外，因为我们使用分布式调度器来利用过分配资源，所以节点很可能出现拥塞的情况。对于这个问题，我们提出了一种主动避免的解决方法，通过学习作业历史数据来训练拥塞避免模型，使用该模型指导调度器放弃可能会出现拥塞的决策。最后通过对比实验，使用多种负载，包括重现真实生产环境负载、典型benchmark负载和混合负载，验证了短任务选取模块、拥塞避免模块和整体性能改进。实验表明，混合结构调度器

6、提升了集群的任务吞吐量，进而提高了资源使用率，缩短了任务完成时间。关键词：HadoopYARN；混合调度器；资源过分配；拥塞避免-I-哈尔滨工业大学工程硕士学位论文AbstractAtpresent,bigdatatechnologyhasrapidlypenetratedallwalksoflifeandhasalsoproducedavarietyofdataprocessingneeds:real-timeeventprocessing,batchprocessing,machinelearning,andmanyotherprocessingmethods.Inthiscase,Had

7、oopintroducedYARNforresourcemanagementinitssecondgeneration(Hadoop2.0).YARNisthesolutionthatHadoopprovidestosolvemulti-dimensionalrequirements,transformingHadoopfromasingle"bulkstorage/processing"syst