基于hadoop的作业调度负载均衡算法研究

《基于hadoop的作业调度负载均衡算法研究》由会员上传分享，免费在线阅读，更多相关内容在学术论文-天天文库。

1、．分类号：ＴＰ３９１．１单位代巧：１０３６１姜获化玉乂學＆？ＡＮＨＵＩＵＮＩＶＥＲＳＩＴＹＯＦＳＣＩＥＮＣＥＴＥＣＨＮＯＬＯＧＹＡ｜踊！ｍＭＢ．汽擇＾ｔ■！ｉ￡■论文题目：基于Ｈａｄｏｏｐ的作业调度贷栽均衡算法妍堯；■－？，？｛作者姓名：王少娟专业名称：计算化科学与技术导师姓名：周华平教授完成时间—：二〇六年六月３９１１：中图分类号．论文编号：ＴＰ．５２０３０３０公开学科分

2、类号密级；安徽理王大学硕±学位论文基于Ｈａｄｏｏ的作业调度负载均衡算法研究ｐ作者姓名：王少娟专业名称：计算机科学与巧术研巧方向：数据挖掘导师姓名：周华平导师单位：安徽理工大学答辩委员会主席：尹玉龙论文答辩日期：２０化年６月４日安敬理工大学研究生处２０１６年６月６日ＡＤｉｓｓｅｒｔａｔｉｏｎｉｎＣｏｍｕｔｅｒＳｃｉｅｎｃｅａｎｄＴｅｃｈｎｏｌｏｇｙｐ民ｅｓｅａｒｃｈｏｎＬｏａｄＢａｌａｎｃｉｎＡｌｏｒｉｔｈｍｆｏｒＳ

3、ｃｈｅｄｕｌｉｎｇｇｇＢａｓｅｄｏｎＨａｄｏｏｐＣａｎｄｉｄａｔｅ：ＷａｎｇＳｈａｏｕａｎｊＳｕｅｒｖｉｓｏｒ：ＺｈｏｕＨｕａｉｎｐｐｇＳｃｈｏｏｌｏｆＣｏｍｕｔｅｒＳｃｉｅｎｃｅａｎｄＥｎｉｎｅｅｒｉｎｐｇｇＡｎＨｕｉＵｎｉｖｅｒｓｉｔｙｏｆＳｃｉｅｎｃｅａｎｄＴｅｃｈｎｏｌｏｇｙＮｏ．１６８ＳｈｕｎｅｎＲｏａｄＨｕａｉｎａｎ２３２００１Ｐ义．ＣＨＩＮＡ，ｇｇ，，，独创性声明本人声明所呈交的学位论文是本人在导师指导下进行的研究工

4、作及取得的研究成果。据我所知，除了文中特别加Ｌ乂标注和致谢的地方心乂外，论文中不包含其他人已经发表或撰写过的研究成果，也不包含为获得安徽望工大学或其他教育机构的学位或证书而使用过的材料一论文。与我同工作的同志对本研究所做的任何贡献均己在中作了明确的说明并表示谢意。举化论女作者焦名日期巧＞山：王ｒ＝年６月曰＿ｉ＿ｊ学位论文版权使用授权书太学化论方作者完夺了解安徽理工大学有保留、使用学位论文的规定，即：研究生在校玫读学位期间论文工作的知识产权单化属于安徽理工大学。

5、学校有权保留并向国家有关部口或机构送交论文的复印件和磁盘，允许论文被查阅和借飼。本人授权安徽理工大学可Ｗ将学位论文的全部或部分内容编入有关数据库进行检索、汇，可Ｗ采用影印、缩印或扫描等复制手段保存编学位论文）。（保密的学位论文在解密后适用本授权书；＞？占学位论文作者签名；玉可竭签字曰期年＾月＾曰导师签名签字日期：：＞４年ｔ月６日、摘要摘要随着Ｗｅｂ２．０时代的到来，互联网的迅速发展，人们对网络的依赖越来越多。＂＂尤其是互联网＋的提出，各大企业均响应号召，实施

6、转型，各行各业每天都能产生海量数据，且呈爆炸式増长。由于海量信息的存储需求和新的计算能力的需求，一一云计算的诞生ｏ促使了新的计算模式。而Ｈａｄｏｐ是云平台中个能够对大数据进行分布式处理的开源平台，是ＭａｐＲｅｄｕｃｅ编程模型的开源实现，也是众多学者进行大数据研究的首选平台一。Ｈａｄｏｏｐ的个重要组件就是其调度器，它主要实现作业的调度执行和系统资源的合理分配，其调度算法的优劣对集群的性能有着至关重要的作用。因此对Ｈａｄｏｏｐ调度器及算法的研究有着重要意义。本文通过研究Ｈａｄｏｏ

7、ｐ平台的现有算法，分析ＬＡＴＥ算法的调度原理及优劣，一－针对其在异构环境下选择备份任务及执行节点时的不足，提出个改进的ＩＲＬＡＴＥ－调度算法。该算法首先对集群中的作业负载进行分类，选择备份执行时，通过ＩＲＬＡＴＥ调度算法为剩余完成时间最长、最需要备份的慢任务启动备份并选择最优节－点执行。最后通过实验验证ＩＲＬＡ咒算法与ＬＡＴＥ算法相比，不仅提高了对慢任务判定的正确性，还缩短了作业的平均运行时间，提升了集群的负载均衡。图巧Ｕ表［４］参［４引关键词：云计算；Ｈａｄｏｏｐ；Ｍａｐ

8、Ｒｅｄｕｃｅ；ＬＡＴＥ；负载均衡１分类号：ＴＰ３９．１－Ｉ－Ａｂｓｔｒａｃｔ；ＡｂｓｔｒａｃｔＷｉｔｈｔｈｅａｄｖｅｎｔｏｆｔｈｅＷｅｂ２．０ｔｈｅｒａｐｉｄｄｅｖｅｌｏｍｅｎｔｏｆｔｈｅＩｎｔｅｒｎｅｔｔｈｅｍｏｒｅ，ｐ，＂＂ｐｅｏｐｌｅａｒｅｄｅｐｅｎｄｅ打ｔｏ打化ｅｎｅｔｗｏｒｋ．Ｅｓｐｅｃｉａｌｌｙ化ｅＩｎｔｅｒｎｅｔ＋ｉｓｐｕｔｆｏｒｗａｒｄ，化ｅｍ