基于bsp大规模图处理系统故障恢复机制的研究与实现

《基于bsp大规模图处理系统故障恢复机制的研究与实现》由会员上传分享，免费在线阅读，更多相关内容在学术论文-天天文库。

1、万方数据AThesisinComputerSoftwareandTheoryResearchandImplementationofFaultRecoveryMechanisminLarge--scaleGraphProcessingSystembasedonBSPByNingChaoSupervisor：ProfessorBaoYubinNortheasternUniversityJune2012㈣毗螋舢1㈣加万方数据独创性声明本人声明，所呈交的学位论文是在导师的指导下完成的。论文中取得的研究成果除加以标注和致谢的地方外，不包含其他人己经发表或撰写过的研究成果，也不包括本人为获得其

2、他学位而使用过的材料。与我一同工作的同志对本研究所做的任何贡献均己在论文中作了明确的说明并表示谢=￡J恩。学位论文作者签名：5选日期：姗．勺乞·≯)学位论文版权使用授权书本学位论文作者和指导教师完全了解东北大学有关保留、使用学位论文的规定：即学校有权保留并向国家有关部门或机构送交论文的复印件和磁盘，允许论文被查阅和借阅。本人同意东北大学可以将学位论文的全部或部分内容编入有关数据库进行检索、交流。作者和导师同意网上交流的时间为作者获得学位后：半年∥一年口一年半口两年口学位论文作者签名：8銎签字日期：≯吣·q6·)1导师签名：鲻z、衫’签字日期：珈7)，．。‘、1万方数据东北大学硕士学

3、位论文摘要基于BSP的大规模图处理系统故障恢复机制的研究与实现摘要基于BSP的并行计算系统适用于面向海量数据的图计算、矩阵计算等需要多次迭代的算法实现。其与MapReduce并行计算系统类似，也将基于低成本服务器和本地磁盘来提高海量数据的并行处理能力。而在上述由大规模商用计算机组成的集群中，经常会出现节点的故障，因此如何能够容忍这些故障的出现，并及时地采取补救措施是非常必要的，课题研究的目的是通过故障恢复机制的合理设计与实现，使得系统具有较强的容错能力。因此实现故障恢复的透明性和提高故障检测、诊断、恢复的效率，减少对系统正常工作的影响将是课题研究的重点和难点问题。针对上述问题，本文

4、研究并实现了基于增量检查点的回滚故障恢复机制，它不仅能够有效的节省存储资源，而且故障的发生相对用户具有透明性。文中主要从三个方面展开了研究。首先，针对数据量大时读、写检查点会降低系统效率的问题，本文在原有的检查点机制的基础上进行了改进，实现了检查点的增量读、写，这样不仅大大的提高了读、写检查点的速度，而且有效的节省了系统的存储资源，当数据量达到一定规模时，增量读、写检查点的实现能够有效的提高系统的效率；其次，实现了基于“心跳”的故障侦测功能，成功的解决了主控端如何获得系统故障信息的问题。通过“心跳”主控端可以及时的获取故障相关信息，并触发相应的故障恢复方案。最后，针对作业运行过程中

5、故障发生的随机性，本文对系统中出现的故障按迭代计算过程的前、中、后分成三阶段，并根据故障发生的阶段和类型分别对这三阶段的故障进行处理。经过实际部署与应用，基于BSP的大规模图处理系统的故障恢复机制取得了预期的效果，系统通过“心跳”能够侦测到作业运行过程中可能出现的各类故障并根据故障所处的作业运行阶段和具体的故障类型采取不同韵故障恢复方案。同时，该容错系统具有良好的可扩展性，可以方便地增加能够处理的故障种类，或通过进一步的修改应用于相关系统的故障恢复。关键词：BSP；图处理；检查点；故障侦测；故障恢复万方数据东北大学硕士学位论文AbstractResearchandImplement

6、ationofFaultRecoveryMechanismintheLarge—scaleGraphProcessingSystembasedonBSPAbstractParallelcomputingsystembasedontheBSPmodelisappliedtographcalculationofmassivedata，matrixcalculationandSOon，whichneedmultipleiterationsforcomputing．AnditissimilartoMapReduceparallelcomputingsystem，whichwillalsob

7、ebasedonlow‘costserversandlocalcomputationresourcestoimprovetheparallelprocessingcapabilities．Theabove．mentionedclusteriscomposedbylarge—scalecommercialcomputers，thenodefailureoftenemerges，SOhowCanwetoleratetheemergenceofthesefailuresan