欢迎来到天天文库
浏览记录
ID:35105002
大小:7.78 MB
页数:73页
时间:2019-03-18
《hadoop平台的推测式任务调度策略研究》由会员上传分享,免费在线阅读,更多相关内容在学术论文-天天文库。
1、学校编号10394困书分类号学号20131032密级@巧么巧於大争?全日制专业学位研究生硕±学位论文Hadoop平台的推测式任务调度策略研究-ResearchonSpeculativeTaskScheduleStrate化rHadooPlatformgyp梅忠心?^會妒方爲"学科专业:计黨机应用巧乂瓜.、研究方向:数据挖巧指导教师:肖如良教授申请学位级别:工挙硕±论文提交日期:2016年6月5曰^论文评阅人:
2、节论文答辩日期:2016年6月2日\答辩委员会主獻陈新教授''学位授予单位:福津师范大挙、日期C学位授予:20化年月日省/20化年6月-:乂:-/V—中文摘耍中文摘要,推测式任务调度作为作业调度的补充会为慢任务执行备份,从而缩短作业完成时间。Hadoop原始推测调度算法假设集群同构,在异构环境的适用性较差。最长レ剩余时间算法在异构环境下对任务进度的计算ッ及慢任务的判定不精确,并且在选择备份任务执行节点时对慢节点判定也不够准确且未考虑实时负载,这些不足
3、之处严重影响应用程序的服务质量,是基于Hadoop的乂数掘分析处理的挑战性问题。针对W上问题,本文提出了改进的推测式任务调度算法。该算法首先利用历史的及最近的任务各阶段进度比信息改进了任务的进度计算方式,然后在此基础上利用进度增长率来分别判定map与reduce慢任务,最后通过节点执行任务的速度W及实时负载,对备份任务执行节点进行筛选。所提出的推测调度算法综合了异构环境、推测策略、任务差异性及节点实时负载,缩短了作业平均完成时间,提高了Hadoop集群性能。H在所搭建的集群上,对所提山的
4、改进算法与adoop自带的W及最氏剩余执行时间推测调度算法进行了实验,并从测试作业的完成时间进行了分析对比,实验结果验证了算法的高效性。该项工作有助于当前Hadoop作业调度面临问题的研究和改进。关键词:Hadoop;作业调度;异构环境;推测调度;实时负载IAbstractAbstractAsasulementofobschedulinseculativel;askschedulinwou]dexecuteappjg,pgbackuforslowtaskin
5、ordertoshortenihecomleliontimeofob.Thehadoooriinalppjpgspeculativeschedulealgorithmassumes化eclusterhomogeneousthatilperformancesbadinheterogeneousenvironment.Thecompilationof化skprogressandthejudgmentofslowtaskofLongestT
6、imeToEndalgorithmarenotpreciseinh別erogeneous'menilenvironment*theudgt曰fslownodeisa3soinaccurateandrealtmeoadhasntbeenjconsideredwhbackki.Thililechoosingtheuptasexecutngnodeeseshortaeshasserousgyinfluencedtheservicequality
7、ofapplications,theyarethechallengesofbigdataprocessingbasedonhadoo.pAimingtosolvetheseproblems,l;hea^icleproposedanimprovedspeculative化skhedu.sclealorithmheihmuhiig.TalgortsesstorcalandrecentprogresspropcMtionofeachstaeo
8、ftasktoimrovethewathattaskroressbecalculatedandthenudesthegpypg,jgslowmaandreducel:asksearatelthrouhtheroressincreaserateonthebasisofitppy
此文档下载收益归作者所有