基于hdfs云存储系统设计和实现论文

《基于hdfs云存储系统设计和实现论文》由会员上传分享，免费在线阅读，更多相关内容在学术论文-天天文库。

1、厦门大学学位论文著作权使用声明本人同意厦门大学根据《中华人民共和国学位条例暂行实施办法》等规定保留和使用此学位论文，并向主管部门或其指定机构送交学位论文(包括纸质版和电子版)，允许学位论文进入厦门大学图书馆及其数据库被查阅、借阅。本人同意厦门大学将学位论文加入全国博士、硕士学位论文共建单位数据库进行检索，将学位论文的标题和摘要汇编出版，采用影印、缩印或者其它方式合理复制学位论文。本学位论文属于：)1．经厦门大学保密委员会审查核定的保密学位论文，于年月日解密，解密后适用上述授权。(V／)2．不保密，适用上述授权。(请在以上相应括号内打

2、“√”或填上相应内容。保密学位论文应是已经厦门大学保密委员会审定过的学位论文，未经厦门大学保密委员会审定的学位论文均为公开学位论文。此声明栏不填写的，默认为公开学位论文，均适用上述授权。)声明人(签名)：节犯砖■厶，j，年6月6日摘要随着数据爆炸的时代到来，海量数据存储的问题也随之而来。HDFS(HadoopDistributedFileSystem)作为主流的开源云计算系统Hadoop的基础构件之一，由于其低成本、高度容错、支持大数据集等特点成为解决数据密集型应用的海量数据存储问题的首选方案之一。在HDFS越来越被广大企业重视和采

3、用的时候，HDFS存在的一些问题也逐渐显现。首先，因为HDFS采用Master／Slaves主从架构，一旦Master节点发生故障，整个集群都无法提供服务，因此HDFS存在单点故障。其次，目前针对HDFS系统的访问还没有很友好的用户访问工具，使用起来门槛较高。本文通过对HDFS的应用现状进行研究，从集群可用性、访问便捷性以及监控维护简易性等角度对HDFS进行改进，提出了一个多角度的基于HDFS的云存储系统构建方案。该方案的主要优点在于：(1)利用DRBD和Heartbeat实现了Namenode的双机备份，解决了HDFS的单点故障。

4、(2)利用次备节点定期Checkpoint，优化了Namenode重启过程，减少了Namenode重启和切换过程中的等待时间。(3)改进了WebHDFS，实现了基于Web的文件存储系统，提供了直观便捷的文件系统访问方式。(4)采用Ganglia作为集群监控方案，提高了集群的可监控性和易维护性。关键词：HDFS；Hadoop；云存储系统AbstractWimthearrivaloftheeraofdataexplosion，theproblemofmassdatastoragehascroppedup．Hadoopisamainstr

5、eamopensourcecloudcomputingsystem．HDFS(HadoopDistributedFileSystem)isoneinfrastructureofit．Duetoitslowcost，hi曲degreeoffaulttolerance，supportforlargedatasetsandotherfeatures，HDFShasbecomeoneofthepreferredsolutionsformassdatastorageproblemstosolvedata-intensiveapplicatio

6、ns．AsHDFSgraduallyacceptedbymoreandmoreenterprises，someproblemsemerged．Ontheonehand，forHDFS’SMaster／Slavesarchitecture，oncethemasternodefails，theentireclusterisunabletoprovideservices．Inotherwords，HDFShassinglepointoffailure．Ontheotherhand，foraccesstotheHDFStherearenot

7、veryuser-friendlytoolsinthecurrent．SothethresholdtouseHDFSishigh．OnthebasisofresearchonHDFSapplicationstatus，weimprovedHDFSfromthreeaspects：theavailabilityofcluster,theconvenienceofaccess，aswellastheeaseofmonitoringandmaintenanceandproposedacloudstoragesystembasedonHDF

8、S．Themainadvantagesofthesolutionareasfollows．(1)UsedDRBDandHeartbeattoimplementdoubleNamenodebackupandsolvedthesingle