主从式云计算平台高可用性研究

《主从式云计算平台高可用性研究》由会员上传分享，免费在线阅读，更多相关内容在学术论文-天天文库。

1、学校代码10530学号201011111620分类号TP391密级硕士学位论文主从式云计算平台高可用性研究学位申请人邓鹏指导教师李枚毅教授学院名称信息工程学院学科专业软件工程研究方向云计算二○一三年五月八日TheRearchonHighAvailabilityofMaster-slaveCloudPlatformsCandidateDengPengSupervisorProfessorLiMeiyiCollegeCollegeofInformationEngineeringProgramSoftwareEngineeringSpecializationCloudComputingDe

2、greeMasterofEngineeringUniversityXiangtanUniversityDateMay8th,2013湘潭大学学位论文原创性声明本人郑重声明：所呈交的论文是本人在导师的指导下独立进行研究所取得的研究成果。除了文中特别加以标注引用的内容外，本论文不包含任何其他个人或集体已经发表或撰写的成果作品。对本文的研究做出重要贡献的个人和集体，均已在文中以明确方式标明。本人完全意识到本声明的法律后果由本人承担。作者签名：日期：年月日学位论文版权使用授权书本学位论文作者完全了解学校有关保留、使用学位论文的规定，同意学校保留并向国家有关部门或机构送交论文的复印件和电子版，

3、允许论文被查阅和借阅。本人授权湘潭大学可以将本学位论文的全部或部分内容编入有关数据库进行检索，可以采用影印、缩印或扫描等复制手段保存和汇编本学位论文。涉密论文按学校规定处理。作者签名：日期：年月日导师签名：日期：年月日摘要随着云计算的普及和高速发展，PC互联网和移动互联网厂商都在积极部署云计算战略，涌现了一大批基于“云”的应用。云计算产业规模的不断扩大，使可用性成为了云计算核心关注点之一。本文分析了开源社区的主要云计算平台可用性，总结了不同方案的优劣势，并在此基础上，提出了一种主从式云计算平台的可用性问题的的通用解决方案——ZKFHA，以最少的改造代价，获得良好的可用性。ZKFHA主

4、要包括五个方面的设计：一是实时监控主节点和集群状态的备份节点；二是状态监控进程，使用Zookeeper记录集群中需要共享的状态信息；三是故障恢复进程，包括迁移数据，保证数据的完整性；四是实现元数据的共享，这是一个可选的设计，主要针对有状态、有元数据保存的中心节点而设计的；五是子节点和客户端的重试机制。通过五个方面的设计来保证主从式云计算平台的高可用性。基于ZKFHA设计思想，ZKFHA-HDFS是针对HDFS中NameNode单点失效的改进方案，NameNode的单点问题是有元数据保存的场景，ZKFHA-HDFS对NameNode实现热备，并基于Zookeeper实现故障恢复，同时引

5、进QuorumNode来实现元数据的共享存储。ZKFHA-MR是针对Mapreduce中Jobtracker可用性的改进方案，Jobtracker单点是无状态保存的场景，ZKFHA-MR实现多个备用的Jobtracker，通过选举产生对外服务的ActiveJobtracker，所有备用节点共用一个虚拟IP地址对外服务。并且实现了Recovery机制处理作业恢复。实验数据表明ZKFHA-HDFS相比其他可用性方案具有故障恢复时间短、无数据丢失、自动故障恢复的优点，在实际应用中运行稳定，方便切换。ZKHFA-Mapreduce中JT能实现多个备用节点在故障恢复时接管服务，故障恢复速度快，

6、且故障后作业执行进度保持一致。ZKFHA可以有效提高主从式云计算平台可用性。关键词：高可用性；云计算；ZKFHA；Hadoop；故障恢复IAbstractWithpopularityandrapiddevelopmentofcloudcomputing,personalcomputerInternetandmobileInternetareActivelymoveclosertothecloudcomputing.Withtheexpansivescaleofcloudcomputingapplication,highavailabilityhasbecomeoneofthekeye

7、lementconcerned.Inthispaper,byanalyzingthesolutionofcloudcomputingplatforminopensourcecommunity,summarizestheadvantagesanddisadvantagesofthedifferentsolution,baseonit,raiseuptheZKFHA,asolutionformaster-slavecloudplatforms,whichinc