hdfs云存储系统可用性能的优化研究

《hdfs云存储系统可用性能的优化研究》由会员上传分享，免费在线阅读，更多相关内容在学术论文-天天文库。

1、Ｖ？？．■＞＿ＵＮＩＶＥＲＳＦＥＬＥＣＩＩＥＩＴＹＯＴＲＯＮＣＳＣＮＣＥＡＮＤＴＥＣＨＮＯＬＯＧＹＯＦＣＨＩＮＡ专业学位硕±学位论文ＭＡＳＴＥＲＴＨＥＳＩＳＦＯＲＰＲＯＦＥＳＳＩＯＮＡＬＤＥＧＲＥＥ论支题目ＨＤＦＳ云存储系统可用性能的优化妍究专业学位类别工程硕±学号２０１３２２０６０５３２化者姓名胡梦楠—指营教师魏祖宽副教授■■．’■ｆ．，．．．独创性声明本人声明所呈交的学位论文是本人在导师指导下进行的研究工作及取得的研究成果。据我

2、所知，除了文中特别加标注和致谢的地方夕，ｈ，论文中不包含其他人已经发表或撰写过的研究成果也不包含为获得电子科技大学或其它教育机构的学位或证书而使用过的材料。与我一同工作的同志对本研究所做的任何贡献均已在论文中作了明确的说明并表示谢意。居０１作者签名＝《ｆｆ曰期：＞年ｙ月日马令吊论文使用授权本学位论文作者完全了解电子科技大学有关保留、使用学位论文的规定，有权保留并向国家有关部口或机构送交论文的复印件和磁盘，允许论文被查阁和借阅。本人授权电子科技大学可将学位论文的全、部或部分内容编入有关数据库进行检索，可采用影印缩印或扫

3、描等复制手段保存、汇学文。编位论此规＾（）保密的学位论文在解密后应遵守定者签名；导师签名；作夸碑／＾＾／曰：年月曰期＞＾分类号密级注1UDC学位论文HDFS云存储系统可用性能的优化研究（题名和副题名）胡梦楠（作者姓名）指导教师魏祖宽副教授电子科技大学成都（姓名、职称、单位名称）申请学位级别硕士专业学位类别工程硕士工程领域名称计算机技术提交论文日期2016.03.28论文答辩日期2016.05.19学位授予单位和日期电子科技大学2016年06月27号答辩委员会主席评阅人注1：注明《国际十进分类法UDC》的类号。OptimizationS

4、tudyontheAvailablePerformanceforHDFSCloudStorageSystemAMasterThesisSubmittedtoUniversityofElectronicScienceandTechnologyofChinaMajor:MasterofEngineeringAuthor:MengnanHuSupervisor:ZukuanWeiSchool:SchoolofComputerScience&Engineering摘要摘要互联网信息化技术的迅猛发展，直接导致了数据的急剧暴增。为解决海量数据的存储和处理，分布式存储系统

5、应运而生并迅速成为趋势。Hadoop是Apache研发的一个开源的分布式云计算软件框架，能够为当前大数据提供计算与存储服务。HDFS是Hadoop的分布式文件系统，采用主从式的分布式系统架构，但由于它只有一个NameNode节点，会产生单点故障问题，所以它并不支持系统的高可用性。所以它并不支持系统的高可用性。随着海量数据的急剧膨胀，HDFS本身架构所存在的缺陷问题也越来越凸显，单一NameNode架构直接严重影响到了系统的可用性，成为了整个分布式文件系统的性能瓶颈。本文对HDFS的体系架构、元数据模型、数据组织以及数据流等进行了详细的解析，并简单阐述了现有的

6、HDFS高可用性解决方案进行对比分析，提出了本文的高可用性方案-基于ZooKeeper的分布式NameNode节点集群。本文主要工作如下：（1）概述了云存储的相关理论知识，对HDFS分布式文件系统的体系架构、数据组织与数据交互等进行了深入的分析。另外，详细介绍了ZooKeeper的基础知识。（2）介绍高可用性的相关概念并分析HDFS本身架构所存在的缺陷，重点对HDFS现有的高可用性解决方案进行分析，并最终提出本文的高可用性方案-基于ZooKeeper的分布式NameNode节点集群，然后进行了简单的分析对比。（3）本文基于ZooKeeper的分布式NameN

7、ode节点的高可用性方案中，利用ZooKeeper来监控所有NameNode节点的工作状态并协调它们的工作，实现了主从NameNode的自动切换。同时分布式NameNode节点可以将元数据信息数据块及其备份分布存放在不同的元数据节点中，并采用基于大多数节点返回响应结果来保证元数据的一致性。所以，当主NameNode节点失效时，从NameNode节点能够快速进行切换，对外提供服务，由此保证了系统的高可用性。（4）经过一系列的实验，来验证本文所提出方案的高可用性。关键词：Hadoop分布式文件系统，单点故障，ZooKeeper，分布式NameNode节点IABS

8、TRACTABSTRACTWiththerapidd