hama图并行计算框架中任务槽模型及其对作业调度性能的影响

《hama图并行计算框架中任务槽模型及其对作业调度性能的影响》由会员上传分享，免费在线阅读，更多相关内容在学术论文-天天文库。

1、．击糾乂夫著ＵＮＩＶＥＲＳＩＴＹＯＦＥＬＥＣＴＲＯＮＩＣＳＣＩＥＮＣＥＡＮＤＴＥＣＨＮＯＬＯＧＹＯＦＣＨＩＮＡ硕±学位论文ＭＡＳＴＥＲＴＨＥＳＩＳ．Ｘ３／／Ａ’＼论文题目Ｈａｍａ图并行计算框架中任务槽模型及其对化业调度性能的影晌考学科专业软件工程学号２０１３２１２２０１２０作者姓名陆怀宰指导教师琢羽教授独剑性声明本人声明所呈交的学位论文是本人在导师指导下进行的研究工作及取得的研究成果。据我所知，除了文中特别加Ｗ标注和致谢的地方外，论文中不包含其他人已经发表或撰写过的研究成果，

2、也不包含为获得电子科技大学或其它教育机构的学位或证书而使用过的材料。与我一同工作的同志对本研究所做的任何贡献均已在论文中作了明确的说明并表示谢意。【：；方／作者签名了考矿军日期１＾年Ｊ＾月ｊ日论文使用授权本学位论文作者完全了解电子科技大学有关保留、使用学位论文的规定，有权保留并向国家有关部口或机构送交论文的复印件和磁盘，允许论文被查阅和借阅。本人授权电子科技大学可Ｗ将学位论文的全部或部分内容编入有关数据库进行检索，可Ｗ采用影印、缩印或扫描等复制手段保存。、汇编学位论文（保密的学位论文在解密后应遵守此规定签）作者签名：活杯坪

3、导师名：俗於曰期：年ＪＴ月曰＾分类号密级注1UDC学位论文Hama图并行计算框架中任务槽模型及其对作业调度性能的影响（题名和副题名）陆怀军（作者姓名）指导教师汤羽教授电子科技大学成都（姓名、职称、单位名称）申请学位级别硕士学科专业软件工程提交论文日期2016.3.18论文答辩日期2016.4.19学位授予单位和日期电子科技大学2016年6月答辩委员会主席评阅人注1：注明《国际十进分类法UDC》的类号。TheTaskSlotModelofHamaGraphParallelComputingFrameworkanditsInfluenceonthePerformanceo

4、fJobSchedulingAMasterThesisSubmittedtoUniversityofElectronicScienceandTechnologyofChinaMajor:SoftwareEngineeringAuthor:LuHuaiJunSupervisor:Prof.TangYuSchool:SchoolofInformationandSoftwareEngineering摘要摘要如今Hadoop平台及其相关技术已经渗透到众多领域当中并得到广泛使用，已经成为大数据的代名词。经过几年的迅猛发展，Hadoop平台及其相关技术实际上已经成为企业大数据计算的标准，

5、它的核心Map-Reduce计算框架在大规模并行处理计算方面更是发挥了巨大作用。虽然表现得如此优秀，但是Hadoop仍有其不足之处，尤其是其不能适应图并行计算。Hama的出现可以弥补Hadoop的不足，它不仅实现了类似Hadoop的并行计算，而且在图计算方面更是发挥了其特色。但由于目前Hama仍处于开发之中，很多功能还不是很完善，还不能投入到实际应用当中。同时Hama又是一个可进行二次开发的图并行计算框架，在实际应用中可根据需求设计合适的作业调度器。如Hadoop中的公平调度器和能力调度器，就是在实际生产中不断形成的两种优秀的作业调度器。所以可以借鉴Hadoop中两种作业调度

6、器的设计思想，同时为了满足实际应用，用户可以设计出自己的Hama图计算作业调度器。在本文中，将先对Hadoop平台及其生态系统作简要介绍，以了解Hadoop的数据处理方式，这些内容主要包括分布式文件系统HDFS以及Map-Reduce并行计算框架这两大块。同时，将重点介绍Hadoop现有的三种流行作业调度算法，这些算法的设计思想为本文的算法设计提供了思路及参考。接着，将通过BSP并行计算模型展开对Hama的学习，重点了解其超步计算的原理。结合它的功能结构了解各个节点的功能及作用，并通过分析Hama源码，从更深层次了解Hama的作业调度流程及其生命周期。根据分析及研究，并充分考

7、虑实际环境中用户的使用及对于不同作业处理的需求，本文设计了基于Hama的任务槽模型及优先级作业调度算法，并给出详细的设计细节。最后，通过编程完成了整个设计并进行功能测试，为了测试其性能还与原有调度方式进行了对比。经测试结果验证，现有的设计不仅弥补了原有调度算法的不足，实现了多用户共享集群资源并使资源得到充分利用，而且还表现出了比原有设计更佳的性能。关键词：任务槽模型，多层级，作业调度，优先级IABSTRACTABSTRACTNowadays,Hadoopplatformandrelatedtechnol