hadoop分布式系统调度算法的研究

《hadoop分布式系统调度算法的研究》由会员上传分享，免费在线阅读，更多相关内容在学术论文-天天文库。

1、－Ｉ！密级：公开学校代码：１０００４：如！交道乂肇ＢＥＩＪＩＮＧＪＩＡＯＴＯＮＧＵＮＩＶＥＲＳＩＴＹ硕±专业学位论文Ｈａｄｏｏ分布式系统调度算法的研究ｐ作者姓名张聪工程领域电子与通信工程、？？苗＆？指导教师何德全院±－；沈波教授培养院系电子信息王稻学院二零－六年六Ａ■Ｂ１击Ｉ；如＇《４乂攀硕±专业学位论文Ｈａｄｏｏｐ分布式系统调度算法的研究民ｅ化ａｒｃｈｏｎＨａｄｏｏｐＤｉｓ杠化ｕｔｅｄＳｓｔｅｍｏｆＳｃｈｅｄｕｌｉｎｇ

2、Ａｌｏｇｒｉｔｈｍｙ作者：张聪导师：何德全、沈波北京交通大学２０１６年６月学位论文版权使用授权书本学位论文作者完全了解北京交通大学有关保留、使用学位论文的规定。特授权北京交通大学可Ｗ将学位论文的全部或部分内容编入有关数据库进行检索，、汇编Ｗ供査阅和借阅。、提供阅览服务，并采用影印缩印或扫描等复制手段保存同意学校向国家有关部口或机构送交论文的复印件和磁盘。学校可Ｗ为存在馆际合作关系的兄弟商校用户提供文献传递服务和交换服务。（保密的学位论文在解密后适用本授权说明）；

3、学位论文作者签名：导师签名古＾ｔ月签字曰期曰签字曰期；年曰：年房月巧叩学校代码：１０００４密级：公开北京交通大学硕±专业学位论文Ｈａｄｏｏ分布式系统调度算法的研究ｐＲｅｓｅａｒｃｈｏｎＨａｄｏｏｐＤｉｓｔｒｉｂｕｔｅｄＳｙｓｔｅｍｏｆＳｃｈｅｄｕｌｉｎｇＡｌｏｇｒｉｔｈｍ２５０６２：１４１作者姓名：张聪学号导师姓名：何德全；沈波职称：院±；教授工程硕±专业领域：电子与通信工程学位级别：硕±北京交通大学２０化年６月ｉ致谢。回首在北京交通

4、大学攻读硕±研究生的生活，往事历历在目在这两年的学，，而且对专业习生活中，不仅对自身专业有了更深刻的认识的知识面进行了拓宽自己的思维能力和综合素质有了明显的提商。感谢北京交通大学计算机网络实验。室对我的培养，各位老师对我的栽培Ｗ及各位同学的帮助、论文的研究工作得到了国家自然科学基金项目（Ｎｏ．６１２７１３０８、Ｎｏ．６１４０１０１５）。北京市自然科学基金项目（Ｎｏ．４１０２０４７）的支持在此，感谢我的导师何德全老师，何徳全老师有着渊博的知识和开阔的眼界。。在学习上，他给我指明了研究的

5、方向，在学业方面给了我很大的帮助。感谢沈波老师，沈老师具有丰富的科研知识和良好的实践能力在科研过程。，中，沈老师总是给与我细也的指导耐也的讲解和不断地鼓励沈老师对我的论也、文的结构安排和细节方面给出了很多建设性的患见，感谢沈老师的悉指导。沈老师严谨的治学态度和科学的工作方法值得我终身学习。还要感谢实验室的张振江老师和刘云老师，在实验室生活中对我的严格的要求和悉也指导，使我们圆满地完成了实验室的各项科研工作，在此向两位老师表示衷也的感谢。另外感谢张文宇学长对论文创新点提出的改进意见，感谢同

6、实验室的同学对我做项、排版、写作等方面的帮助，感谢宿舍的目时的帮助Ｗ及对我论文的格式兄弟们对我的包容和支持。最后要感谢我的父母，感谢他们对我的关必和爱护，他们的理解和支持是我克服困难的源泉。北京交通大学硕±专业学位论文摘要近年来，随着信息技术的快速发展，全球的数据量呈现爆炸式増长。传统的数据处理技术已难Ｗ满足人们的需求，因此大数据处理技术成为当前社会的研究热点。这其中，ＨａｄｏｏｐＷ其成本低、成熟生态圈、快速解决问题的特点，已成为大数据处理技术的事实意义上的标准。Ｈａｄｏｏ

7、ｐ主要由分布式文件系统（ＨＤＦＳ）Ｒｕ一和编程模型Ｍａｐｅｄｃｅ构成。作为种分布式计算环境，任务调度是Ｈａｄｏｏｐ中一的核也任务之，对集群的性能有着直接影响。因此，Ｈａｄｏｏｐ中的任务调度算法一是当前该领域中的个热点研究问题。Ｈａｄｏｏｐ现有的任务调度算法在集群异构、数据密集型作业的环境下，会出现数据本地性和集群负载不均衡的问题。本论文针对这些问题进行研究，通过对ＨＤＦＳ和ＭａｐＲｅｄｕｃｅ的调度算法的分析，从两个方面提出了在异构数据密集型的环境下提商集群性能的方法。论文的主要工作包括：

8、（１）异构数据放２策略。对于Ｈａｄｏｏｐ集群的异构性，通过各节点机器的物理配置，利用基于ＥＨＰ（异构节点性能评估）算法对节点性能进行评估计算，然后按照节点性能比例进行数据放Ｓ。（２）基于负载平巧的动态延迟调度巧法（ＬＢＤＤＳ）。通过分析现有的延迟调度算法的不足，提出了基于系统负载均巧的延迟调度算法。该算法在原有的延迟调度基碰上，首先