基于状态矩阵的hadoop yarn节能调度策略的研究

《基于状态矩阵的hadoop yarn节能调度策略的研究》由会员上传分享，免费在线阅读，更多相关内容在学术论文-天天文库。

1、硕士学位论文基于状态矩阵的HadoopYARN节能调度策略的研究RESEARCHONTHEENERGY-EFFICIENTHADOOPYARNRESOURCESCHEDULINGSTRATEGYBASEDONSTATEMATRIX何泽宇哈尔滨工业大学2016年6月国内图书分类号：TP393学校代码：10213国际图书分类号：004.9密级：公开工程硕士学位论文基于状态矩阵的HadoopYARN节能调度策略的研究硕士研究生：何泽宇导师：翟健宏副教授申请学位：工程硕士学科：计算机科学与技术所在单位：计算机科学与技术学院答辩日期：2

2、016年6月授予学位单位：哈尔滨工业大学ClassifiedIndex:TP393U.D.C:004.9DissertationfortheMasterDegreeinEngineeringRESEARCHONTHEENERGY-EFFICIENTHADOOPYARNRESOURCESCHEDULINGSTRATEGYBASEDONSTATEMATRIXCandidate：HeZeyuSupervisor：AssociateProf.ZhaiJianhongAcademicDegreeAppliedfor：MasterofEn

3、gineeringSpeciality：ComputerScienceandTechnologyAffiliation：SchoolofComputerScienceandTechnologyDateofDefence：June,2016Degree-Conferring-Institution：HarbinInstituteofTechnology哈尔滨工业大学工程硕士学位论文摘要随着云计算集群规模的快速扩张，其所带来的能量消耗和成本越来越巨大，不论从经济角度还是环保角度，如何降低集群的能量消耗，实现“绿色计算”，已经成为急

4、需解决的问题，“绿色计算”也是当前云计算领域的一个研究热点。作为开源云计算平台系统中的佼佼者，Hadoop的应用变得越来越广泛，包括互联网、金融、医疗、零售等行业开始使用Hadoop。本文从实际角度出发，以集群资源调度策略作为切入点，针对HadoopYARN系统，研究了基于状态矩阵的节能调度策略，并结合HadoopYARN系统组成结构和实现原理，实现了一个YARN节能资源调度器。本文设计的节能资源调度策略主要有两个原则：（1）服务最优原则，即在资源调度时，其所选择的任务在对应节点应该能够获得较为高效的服务；（2）能耗最低原则，

5、在保证服务的基础上，最终选择的任务应是所有任务中使得节点功耗最低的一个。为了满足以上两个调度原则，需要对集群各个节点的负载情况进行监控，为此本文构建了一个用于描述集群节点负载情况的状态矩阵，并以状态矩阵为基础，设计了负载预测模型对节点未来状态进行估算，设计了功率计算模型，根据负载状态对节点功率进行计算。在节能调度流程上，本文首先依据应用的资源使用特征对应用进行了聚类分析，具体的调度策略分为两个阶段：（1）根据节点的负载预测数据以及应用的资源使用特征，以服务最优原则选择适合在此节点运行的备选应用集；（2）依据能耗最低原则，在备选

6、应用集中，依据功率计算模型，选择一个能够使节点功率最低的作为目标应用。在以上研究基础上，本文通过分析HadoopYARN各个组件的功能以及调度器实现原理，将节能资源调度的各功能模块在原系统中进行了实现。通过对重新设计过的系统进行完全分布式部署测试，节能调度的资源监控、能耗计算、负载预测以及资源调度等主要功能均能正常工作。通过设计对比实验对节能调度器、FIFOScheduler、CapacityScheduler进行了比较，结果表明，节能调度器在保证了执行效率的基础上，在降低集群整体能耗方面有着一定效果。关键词：云计算；绿色计算

7、；HadoopYARN；节能资源调度；-I-哈尔滨工业大学工程硕士学位论文AbstractWiththerapidexpansionofcloudcomputingclustersize,theenergyconsumptionandcostsismoreandmoreenormous,howtoreducetheenergyconsumptionofclusters,"greencomputing",hasbecomeanurgentissuebothintermsofeconomicandenvironmentalpers

8、pective."Greencomputing"isalsocurrentlyaresearchtopicinthefieldofcloudcomputing.Astheleaderinopensourcecloudcomputingplatformsystem,Hadoop