hadoop平台的推测式任务调度策略研究

《hadoop平台的推测式任务调度策略研究》由会员上传分享，免费在线阅读，更多相关内容在学术论文-天天文库。

1、学校编号１０３９４困书分类号学号２０１３１０３２密级＠巧么巧於大争？全日制专业学位研究生硕±学位论文Ｈａｄｏｏｐ平台的推测式任务调度策略研究－ＲｅｓｅａｒｃｈｏｎＳｐｅｃｕｌａｔｉｖｅＴａｓｋＳｃｈｅｄｕｌｅＳｔｒａｔｅ化ｒＨａｄｏｏＰｌａｔｆｏｒｍｇｙｐ梅忠心？＾會妒方爲＂学科专业：计黨机应用巧乂瓜．、研究方向：数据挖巧指导教师：肖如良教授申请学位级别：工挙硕±论文提交日期：２０１６年６月５曰＾论文评阅人：

2、节论文答辩日期：２０１６年６月２日＼答辩委员会主獻陈新教授＇＇学位授予单位：福津师范大挙、日期Ｃ学位授予：２０化年月日省／２０化年６月－：乂：－／Ｖ—中文摘耍中文摘要，推测式任务调度作为作业调度的补充会为慢任务执行备份，从而缩短作业完成时间。Ｈａｄｏｏｐ原始推测调度算法假设集群同构，在异构环境的适用性较差。最长レ剩余时间算法在异构环境下对任务进度的计算ッ及慢任务的判定不精确，并且在选择备份任务执行节点时对慢节点判定也不够准确且未考虑实时负载，这些不足

3、之处严重影响应用程序的服务质量，是基于Ｈａｄｏｏｐ的乂数掘分析处理的挑战性问题。针对Ｗ上问题，本文提出了改进的推测式任务调度算法。该算法首先利用历史的及最近的任务各阶段进度比信息改进了任务的进度计算方式，然后在此基础上利用进度增长率来分别判定ｍａｐ与ｒｅｄｕｃｅ慢任务，最后通过节点执行任务的速度Ｗ及实时负载，对备份任务执行节点进行筛选。所提出的推测调度算法综合了异构环境、推测策略、任务差异性及节点实时负载，缩短了作业平均完成时间，提高了Ｈａｄｏｏｐ集群性能。Ｈ在所搭建的集群上，对所提山的

4、改进算法与ａｄｏｏｐ自带的Ｗ及最氏剩余执行时间推测调度算法进行了实验，并从测试作业的完成时间进行了分析对比，实验结果验证了算法的高效性。该项工作有助于当前Ｈａｄｏｏｐ作业调度面临问题的研究和改进。关键词：Ｈａｄｏｏｐ；作业调度；异构环境；推测调度；实时负载ＩＡｂｓｔｒａｃｔＡｂｓｔｒａｃｔＡｓａｓｕｌｅｍｅｎｔｏｆｏｂｓｃｈｅｄｕｌｉｎｓｅｃｕｌａｔｉｖｅｌ；ａｓｋｓｃｈｅｄｕｌｉｎｗｏｕ］ｄｅｘｅｃｕｔｅａｐｐｊｇ，ｐｇｂａｃｋｕｆｏｒｓｌｏｗｔａｓｋｉｎ

5、ｏｒｄｅｒｔｏｓｈｏｒｔｅｎｉｈｅｃｏｍｌｅｌｉｏｎｔｉｍｅｏｆｏｂ．Ｔｈｅｈａｄｏｏｏｒｉｉｎａｌｐｐｊｐｇｓｐｅｃｕｌａｔｉｖｅｓｃｈｅｄｕｌｅａｌｇｏｒｉｔｈｍａｓｓｕｍｅｓ化ｅｃｌｕｓｔｅｒｈｏｍｏｇｅｎｅｏｕｓｔｈａｔｉｌｐｅｒｆｏｒｍａｎｃｅｓｂａｄｉｎｈｅｔｅｒｏｇｅｎｅｏｕｓｅｎｖｉｒｏｎｍｅｎｔ．Ｔｈｅｃｏｍｐｉｌａｔｉｏｎｏｆ化ｓｋｐｒｏｇｒｅｓｓａｎｄｔｈｅｊｕｄｇｍｅｎｔｏｆｓｌｏｗｔａｓｋｏｆＬｏｎｇｅｓｔＴ

6、ｉｍｅＴｏＥｎｄａｌｇｏｒｉｔｈｍａｒｅｎｏｔｐｒｅｃｉｓｅｉｎｈ別ｅｒｏｇｅｎｅｏｕｓ＇ｍｅｎｉｌｅｎｖｉｒｏｎｍｅｎｔ＊ｔｈｅｕｄｇｔ曰ｆｓｌｏｗｎｏｄｅｉｓａ３ｓｏｉｎａｃｃｕｒａｔｅａｎｄｒｅａｌｔｍｅｏａｄｈａｓｎｔｂｅｅｎｊｃｏｎｓｉｄｅｒｅｄｗｈｂａｃｋｋｉ．Ｔｈｉｌｉｌｅｃｈｏｏｓｉｎｇｔｈｅｕｐｔａｓｅｘｅｃｕｔｎｇｎｏｄｅｅｓｅｓｈｏｒｔａｅｓｈａｓｓｅｒｏｕｓｇｙｉｎｆｌｕｅｎｃｅｄｔｈｅｓｅｒｖｉｃｅｑｕａｌｉｔｙ

7、ｏｆａｐｐｌｉｃａｔｉｏｎｓ，ｔｈｅｙａｒｅｔｈｅｃｈａｌｌｅｎｇｅｓｏｆｂｉｇｄａｔａｐｒｏｃｅｓｓｉｎｇｂａｓｅｄｏｎｈａｄｏｏ．ｐＡｉｍｉｎｇｔｏｓｏｌｖｅｔｈｅｓｅｐｒｏｂｌｅｍｓ，ｌ；ｈｅａ＾ｉｃｌｅｐｒｏｐｏｓｅｄａｎｉｍｐｒｏｖｅｄｓｐｅｃｕｌａｔｉｖｅ化ｓｋｈｅｄｕ．ｓｃｌｅａｌｏｒｉｔｈｍｈｅｉｈｍｕｈｉｉｇ．ＴａｌｇｏｒｔｓｅｓｓｔｏｒｃａｌａｎｄｒｅｃｅｎｔｐｒｏｇｒｅｓｓｐｒｏｐｃＭｔｉｏｎｏｆｅａｃｈｓｔａｅｏ

8、ｆｔａｓｋｔｏｉｍｒｏｖｅｔｈｅｗａｔｈａｔｔａｓｋｒｏｒｅｓｓｂｅｃａｌｃｕｌａｔｅｄａｎｄｔｈｅｎｕｄｅｓｔｈｅｇｐｙｐｇ，ｊｇｓｌｏｗｍａａｎｄｒｅｄｕｃｅｌ：ａｓｋｓｅａｒａｔｅｌｔｈｒｏｕｈｔｈｅｒｏｒｅｓｓｉｎｃｒｅａｓｅｒａｔｅｏｎｔｈｅｂａｓｉｓｏｆｉｔｐｐｙ