针对Hadoop集群的节能调度算法研究.pdf

《针对Hadoop集群的节能调度算法研究.pdf》由会员上传分享，免费在线阅读，更多相关内容在学术论文-天天文库。

1、UNIVERSITYOFELECTRONICSCIENCEANDTECHNOLOGYOFCHINA®i±~fM:i~XMASTERTHESIS_01221060456*A~~M~~~~&~~~*Aa~~m~~*ff~~~I~R~~~~~~~omftm~,~7~~~~~~~tt~~W~~~)'~,i~~~/G-E113;t=t1mAe.~bt*BxJ~~tt~:PJf~~*,ill/G-E113:7g~~~~~tt*~~;t=t~~wm~~~~~hl~®~mtt~MMo~R-~I~~~~~*~~m

2、~~ff~~~~sa~~~~7~~~*~&~~~*~~7m~~~tt*~~*~w,~m~&~~8{]J;JDE:,1ffX1*~?:]:f:~00*:ff*1l!Hl~~JL;fi;Ji35ti~X~~f~145f1J~tt:t!,ft~~~~~oo~mOOa*A~~~~~tt*~m~~~&~~~~$~$*~~~A~*~~~*ff~~,ey~*m~~,~~~~~~~1ff,J-¥$~{~H,1C~~1ll.i~~o分类号密级注1UDC学位论文针对Hadoop集群的节能调度算法研究（题名和副题名

3、）陈瑜（作者姓名）指导教师田文洪副教授电子科技大学成都（姓名、职称、单位名称）申请学位级别硕士学科专业计算机应用技术提交论文日期2015.03.28论文答辩日期2015.04.22学位授予单位和日期电子科技大学2015年6月29日答辩委员会主席评阅人注1：注明《国际十进分类法UDC》的类号。ENERGY-EFFICIENCYSCHEDULINGALGORITHMSFORHADOOPCLUSTERSAMasterThesisSubmittedtoUniversityofElectronicScie

4、nceandTechnologyofChinaMajor:ComputerApplicationTechnologyAuthor:ChenYuAdvisor:Prof.TianWenhongSchool:SchoolofInformationandSoftwareEngineering摘要摘要随着云计算在企业中的广泛使用，拥有HDFS分布式文件系统和分布式计算模型MapReduce的Hadoop成为了众多IT企业的首选。在大型企业中，Hadoop分布式集群通常由成百上千个节点组成，如此庞大规模的

5、集群在长时间的运行过程中会产生大量的能耗，增加了企业的成本。因此，在大规模集群中减少能耗，不仅从经济角度可以减少企业开支，同时也更加节能环保。传统的Hadoop集群在运行过程中并没有考虑节能问题，当Hadoop启动一段时间闲置时，所有节点长期处于工作状态，可能产生大量能耗。同时，Hadoop默认的调度算法效率较低，通常需要较长时间完成任务，较低的效率产生了较多的额外能耗。在以往的集群节能研究中，主要是通过在集群上增加额外硬件的方法减少能耗，适用性较差。已有的集群调度算法优化目标也多是负载均衡，没

6、有考虑能耗问题，而且由于Hadoop架构的特殊性，大部分的调度算法无法在Hadoop上直接使用。本论文正是针对上述问题，以Hadoop集群的相关节能调度技术为主要的研究对象，深入分析了Hadoop集群特点和调度器的不足之处，对如何减少Hadoop集群能耗提出来解决方案。主要研究内容包括：首先，分析了Hadoop平台的结构和框架特征、Hadoop核心组件、编程模型；其次，针对Hadoop平台的整体架构，通过对集群进行能耗建模，提出了一种动态Hadoop节点节能管理方法，该方法在集群负载较低时，可以

7、有效的动态休眠部分节点，减少集群整体能耗；接着，针对一批Hadoop任务，通过对最小化总完工时间的建模，提出了动态调整Hadoop资源的分配的HScheduler算法，减少多个任务的总完工时间以减少能耗；然后，针对Hadoop运行流程中常常会出现的数据倾斜问题，提出了Reduce端负载均衡（RLB）算法，通过减少任务的运行时间降低Hadoop集群的能耗；最后，搭建Hadoop实际数据测试环境，经过大量真实数据测试，验证了所提出的算法在Hadoop集群节能效果。关键词：云计算，节能调度，调度优化，

8、最小化总完工时间IABSTRACTABSTRACTWiththewideuseofcloudcomputingintheenterprise,HadoopwithHDFSdistributedfilesystemandMapReducedistributedcomputingmodel,becomespreferenceinmanyITenterprises.Inlargeenterprises,Hadoopclusterusuallyconsistsofhundredsofnodes.Ther