mapreduce故障恢复机制设计与实现

《mapreduce故障恢复机制设计与实现》由会员上传分享，免费在线阅读，更多相关内容在学术论文-天天文库。

1、AThesisSubmittedinPartialFulfillmentoftheRequirementsfortheDegreeofMasterofEngineeringDesignandImplementationoftheFailureRecoveryMechanisminMapReduceCandidate：GuoRuiMajor：Communication&InformationSystemSupervisor：Prof.HuangBenxiongHuazhongUniversityofScience&TechnologyW

2、uhan430074,P.R.ChinaJanuary,2012独创性声明本人声明所呈交的学位论文是我个人在导师指导下进行的研究工作及取得的研究成果。尽我所知，除文中已经标明引用的内容外，本论文不包含任何其他个人或集体已经发表或撰写过的研究成果。对本文的研究做出贡献的个人和集体，均已在文中以明确方式标明。本人完全意识到本声明的法律结果由本人承担。学位论文作者签名：日期：年月日学位论文版权使用授权书本学位论文作者完全了解学校有关保留、使用学位论文的规定，即：学校有权保留并向国家有关部门或机构送交论文的复印件和电子版，允许论文被查阅和借阅

3、。本人授权华中科技大学可以将本学位论文的全部或部分内容编入有关数据库进行检索，可以采用影印、缩印或扫描等复制手段保存和汇编本学位论文。保密，在年解密后适用本授权书。本论文属于不保密。（请在以上方框内打“√”）学位论文作者签名：指导教师签名：日期：年月日日期：年月日华中科技大学硕士学位论文摘要随着大规模数据运算的不断发展，运算集群的规模越来越大，对系统可靠性的要求也越来越高。然而，对于如此大规模的集群，不可避免的存在着各种各样的故障发生。在MapReduce作业的运算过程中，集群上任务故障和节点故障更是十分普遍。然而，MapRedu

4、ce现有的故障处理方式存在着一些缺陷。因此，对MapReduce计算模型故障恢复机制进行研究与设计具有很大的意义。本文阐述了云计算的概念、特点以及发展现状，并简单介绍了Hadoop集群的特点，在此基础上，说明了对大规模集群故障恢复机制进行研究的意义以及国内外的研究现状。然后，本文对MapReduce计算模型进行了简单的介绍，阐述了MapReduce计算模型的基本思想、工作原理和任务调度流程。在此基础上，介绍了MapReduce计算模型主要故障类型，并针对各种故障类型深入分析了其故障处理方式。接着，在现有的MapReduce计算模型基础

5、上，增加了节点的自动重启功能模块，使得各节点在故障后可以迅速重启；并进一步对任务故障后的恢复机制进行了设计与实现，使得运行失败的任务在重新调度后不必从头开始执行，而是可以在故障前的进度基础上继续执行。通过相关的优化，使得集群在运算中出现故障后能够更快的实现故障恢复。最后，本文对优化后系统进行了功能和性能的测试与评估。结果表明，优化后系统的故障恢复机制在功能上达到了预期的目的，性能上优于原先的MapReduce计算模型。关键词：云计算；MapReduce；故障恢复；任务调度；性能评估I华中科技大学硕士学位论文AbstractWithth

6、econtinuousdevelopmentoflarge-scaledataprocessing,thescaleofclustersincreasesheavily,andtherequirementsofSystemreliabilityhavebecomemoresophisticated.However,forsuchalargecluster,thereareallkindsofinevitablefailures.IntheprocessperiodofMapReduce,thetaskfailuresandthenod

7、efailuresareevenmoregeneral,buttherearesomedefectsinthefailurerecoverymechanismofMapReduce.Therefore,itisofgreatsignificanttostudyandoptimizethefailurerecoverymechanismofMapReduce.Thispaperfirstlydescribestheconcept,characteristicsanddevelopmentstatusofcloudcomputing,an

8、doutlinesthecharacteristicsofaHadoopcluster.Onthisbasis,indicatingthesignificanceofstudytherecoverymechanismof