基于Hama并行计算框架的多层级作业调度算法的研究及实现

《基于Hama并行计算框架的多层级作业调度算法的研究及实现》由会员上传分享，免费在线阅读，更多相关内容在学术论文-天天文库。

1、电子科技大学UNIVERSITYOFELECTRONICSCIENCEANDTECHNOLOGYOFCHINA硕士学位论文MASTERTHESIS论文题目基于Hama并行计算框架的多层级作业调度算法的研究及实现学科专业计算机系统结构学号201121060259作者姓名胡月胜指导教师汤羽教授分类号密级注1UDC学位论文基于Hama并行计算框架的多层级作业调度算法的研究及实现（题名和副题名）胡月胜（作者姓名）指导教师汤羽教授电子科技大学（姓名、职称、单位名称）申请学位级别硕士学科专业计算机系统结构提交论文日期2014年3月26日论文答辩日期2014年5月12日学

2、位授予单位和日期电子科技大学2014年6月29日答辩委员会主席评阅人注1：注明《国际十进分类法UDC》的类号。RESEARCHANDIMPLEMENTATIONOFMULTI-LAYERJOBSCHEDULINGALGORITHMBASEDONHAMAPARALLELCOMPUTINGFRAMEWOKRAMasterThesisSubmittedtoUniversityofElectronicScienceandTechnologyofChinaMajor:ComputerSystemOrganizationAuthor:HuYueshengAdvisor:

3、ProfessorTangYuSchool:SchoolofComputerScience&Engineering独创性声明本人声明所呈交的学位论文是本人在导师指导下进行的研究工作及取得的研究成果。据我所知，除了文中特别加以标注和致谢的地方外，论文中不包含其他人已经发表或撰写过的研究成果，也不包含为获得电子科技大学或其它教育机构的学位或证书而使用过的材料。与我一同工作的同志对本研究所做的任何贡献均已在论文中作了明确的说明并表示谢意。作者签名：日期：年月日论文使用授权本学位论文作者完全了解电子科技大学有关保留、使用学位论文的规定，有权保留并向国家有关部门或机构

4、送交论文的复印件和磁盘，允许论文被查阅和借阅。本人授权电子科技大学可以将学位论文的全部或部分内容编入有关数据库进行检索，可以采用影印、缩印或扫描等复制手段保存、汇编学位论文。（保密的学位论文在解密后应遵守此规定）作者签名：导师签名：日期：年月日摘要摘要随着大数据技术在业界和学术界的发展，大量的分布式计算平台投入运行，其中以ApacheHadoop平台应用最为广泛。Hadoop屏蔽了分布式系统的底层实现细节，使得应用程序开发人员可以更加专注于算法逻辑的实现。但是，Hadoop也有其局限性，在处理如图计算以及机器学习等问题时，其效率并不高。基于BSP（BulkS

5、ynchronousParallel）模型的ApacheHama并行计算框架的出现，弥补了Hadoop的这一缺点。但是，由于Hama创建时间不长，发展时间较短，在很多地方仍需继续改进，尤其是其核心模块—作业调度器。Hama目前使用的先来先服务作业调度算法，不仅无法高效的实现多用户共享集群，而且还会对集群的资源利用率造成很大的影响。本文的目的就是实现一种新的基于Hama并行计算框架的作业调度算法，弥补Hama先来先服务作业调度算法的缺点，提高其资源利用水平，并为Hama的作业调度提供更大的灵活性，以满足其未来一段时间内的发展需求。为了达成这一目的，本文的主要工

6、作和贡献包括：首先，通过研读Hama并行计算框架的源代码，剖析了Hama的系统架构，介绍了BSP模型在Hama中的实现，总结了Hama作业的运行流程，研究了Hama的调度框架以及其先来先服务作业调度算法。与此同时，还对Hama中涉及到的HDFS及MapReduce的相关技术进行了总结，并分析总结了MapReduce与Hama在调度模式上的不同之处。随后，以上述研究的成果为基础，再结合BSP模型的自身特点，设计并实现了基于Hama并行计算框架的多层级作业调度算法，并对该算法的设计思想以及实现过程进行了详细的介绍。最后，对多层级作业调度算法进行了实验验证及性能测

7、试。实验结果表明多层级作业调度算法成功的实现了预期的设计目标，解决了Hama先来先服务作业调度算法的不足之处，提高了Hama集群的资源利用能力，并在与Hama先来先服务作业调度器的性能对比测试中表现较为出色。关键词：ApacheHama，BSP模型，分布式计算，作业调度算法IABSTRACTABSTRACTWiththedevelopmentoftheBigDatatechnologiesinindustryandacademia,alargenumberofdistributedcomputingplatformsbeenconstructed.Themo

8、stwidelyusedoneisApacheHad