基于mapreduce的恢复机制和任务调度算法的改进硕士论文

《基于mapreduce的恢复机制和任务调度算法的改进硕士论文》由会员上传分享，免费在线阅读，更多相关内容在学术论文-天天文库。

1、分类号：TP391520．6020密级：天津理工大学研究生学位论文基于MapReduce的恢复机制和任务调度算法的改进(申请硕士学位)学科专业：计算机技术研究方向：复杂系统建模与优化作者姓名：张璇指导教师：孙俊清2013年1月ThesisSubmittedtoTianjinUniversityofTechnologyfortheMaster’SDegreeTheImprovementofRecoveryMechanismsandTaskSchedulingBasedonMapReduceByXuanZhangSupervisorJunqingSun独创性声明本人声明所呈

2、交的学位论文是本人在导师指导下进行的研究工作和取得的研究成果，除了文中特别加以标注和致谢之处外，论文中不包含其他人已经发表或撰写过的研究成果，也不包含为获得墨盗墨兰盘望或其他教育机构的学位或证书而使用过的材料。与我一同工作的同志对本研究所做的任何贡献均已在论文中作了明确的说明并表示了谢意。学位论文作者签名：签字日期：年月日学位论文版权使用授权书本学位论文作者完全了解墨盗堡墨盘望有关保留、使用学位论文的规定。特授权叁盗堡兰盘望可以将学位论文的全部或部分内容编入有关数据库进行检索，并采用影印、缩印或扫描等复制手段保存、汇编，以供查阅和fm蒯。同意学校向国家有关部门或机构送交

3、论文的复本和电子文件。(保密的学位论文在解密后适用本授权说明)学位论文作者签名：签字日期：年月日钠鞠诉後氓摘要随着计算机技术和软件技术的发展，云计算作为新的计算模型在短短的几年问产生了巨大的影响力。Hadoop是一个支持开发和并行处理大规模数据的分布式云计算平台，采用的是master／slave框架。在云计算集群中，master节点有时会发生异常而产生中断，如何对master节点进行恢复是业界所关注的一个热点问题。另外，按照MapReduce工作机制，系统将一个任务分割成若干个子任务，并分配到不同的物理节点进行处理。如何对这些子任务进行调度也受到了IT领域研究工作者的重

4、视。本文在Hadoop的框架以及mapreduce运行模型的环境下，依托智能计算的相关理论，分别对MapReduce恢复机制和工作调度问题进行研究。具体内容如下：对已有的MapReduce的历史恢复机制、同步机制和丢弃机制中阻塞问题产生的过程和原因进行了详细的分析和总结，在此基础上，综合考虑存储空间利用率和并行平台的运行效率，提出了一种新的机制。这种机制结合了历史恢复机制、同步机制和丢弃机制的特点，运用备份进行恢复，通过不携带信息的心跳获得正在工作节点的列表，最后对没有发送心跳的工作节点进行关闭。实验结果表明，这种新的机制提高了Hadoop的性能和效率，减少了系统的恢复

5、时间，降低了系统恢复产生异常的次数。在对Mapreduce模型进行分析研究的基础上，提出了基于双适应度的遗传算法来解决Mapreduce的任务调度问题，该算法在执行过程中不仅考虑了总任务的完成时间，而且考虑到了完成时间方差这个重要的因素。实验证明该任务调度算法可以在保证总的任务完成时间没有显著增加的情况下，减少任务的完成时间方差，解决了个别任务等待时间过长的问题，提高了并行运算平台Hadoop的效率和用户的综合满意度。关键词：云计算MapReduce恢复机制任务调度AbstractWiththedevelopmentofcomputertechnology,cloudc

6、omputing，asanewcomputingmodel，hashadahugeinfluenceinashortfewyears．Hadoopisadistributedcomputingplatformwhichusesmaster／slaveframeworktosupportdevelopingandprocessinghugedataparallelly．Inthecloudcomputingcluster，themasternodessometimesoccuranomaliesandinterrupt，SOthathowtorecoverythemast

7、ernodeswasconcemedbytheacademiccircleandpress．Inaddition，accordingtotheMapReduceworkmechanism，thesystemdividestasksintoseveralsubtasks，andassignsthosesubtaskstodifferentphysicalnodesforprocessing．Thus，howtoassignthesubtasksisalsoconcemedbyITresearchworkers．Basedonthestudy