一种高性能hdfs存储平台的研究与实现

《一种高性能hdfs存储平台的研究与实现》由会员上传分享，免费在线阅读，更多相关内容在学术论文-天天文库。

1、代号10701学号1021121257分类号TP311.5密级公开题（中、英文）目一种高性能HDFS存储平台的研究与实现ResearchandImplementationofaHighPerformanceHDFSStorageSystem作者姓名王磊指导教师姓名、职务陈平教授学科门类工学学科、专业计算机软件与理论提交论文日期二○一三年一月西安电子科技大学学位论文独创性（或创新性）声明秉承学校严谨的学风和优良的科学道德，本人声明所呈交的论文是我个人在导师指导下进行的研究工作及取得的研究成果。尽我所知，除了文中特别加以标注和致

2、谢中所罗列的内容以外，论文中不包含其他人已经发表或撰写过的研究成果；也不包含为获得西安电子科技大学或其它教育机构的学位或证书而使用过的材料。与我一同工作的同志对本研究所做的任何贡献均已在论文中做了明确的说明并表示了谢意。申请学位论文与资料若有不实之处，本人承担一切的法律责任。本人签名：日期西安电子科技大学关于论文使用授权的说明本人完全了解西安电子科技大学有关保留和使用学位论文的规定，即：研究生在校攻读学位期间论文工作的知识产权单位属西安电子科技大学。学校有权保留送交论文的复印件，允许查阅和借阅论文；学校可以公布论文的全部或部

3、分内容，可以允许采用影印、缩印或其它复制手段保存论文。同时本人保证，毕业后结合学位论文研究课题再撰写的文章一律署名单位为西安电子科技大学。（保密的论文在解密后遵守此规定）本学位论文属于保密，在年解密后适用本授权书。本人签名：日期导师签名：日期摘要近年来，云计算成为了互联网行业最热的话题之一。由于其高可靠性，高吞吐量及高可扩展性，Hadoop分布式文件系统HDFS成为了主流的云计算平台的底层存储系统，政府、高校、科研机构或者企事业单位均先后使用HDFS作为其集群的存储平台。然而，尽管HDFS有着良好的表现，其在性能上仍然存在明

4、显的问题。比如NameNode的单点失效，数据存储空间浪费，小文件存储效率低等。现阶段的国内外研究往往仅针对上述单个问题作出分析与研究，没有系统地将HDFS的性能问题进行整合与改进。本文针对这些问题，设计与实现了一个高性能的HDFS存储平台。平台采用内存与硬盘的双重元数据备份机制，在保证NameNode高可用性的同时，降低了集群因NameNode宕机失效所需的恢复时间；在数据的存储上，平台采用基于ErasureCode的编码存储技术，对文件分块后的block数据进行编码存储，降低了集群的副本数量，提高了存储空间的利用率；平台

5、也对HDFS存储小文件效率低的问题作出了改进，采用Hadoop提供的HAR文件格式，将小文件打包上传，减轻了NameNode的元数据存储压力，也同时提高了小文件的读写速度。文章最后通过一系列的实验来验证高性能HDFS存储平台在可用性，存储效率上的优势，满足了系统的设计要求。关键词：云计算HDFS高可用性ErasureCode小文件存储AbstractInrecentyears,cloudcomputinghasbecomeoneofthehottesttopicsintheInternetindustry.Becauseof

6、itshighreliability,highthroughputandhighscalability,theopen-sourceprojectoftheApacheFoundationHadoopDistributedFileSystem,HDFS,hasbecomethemainstreamunderlyingstoragesystemincloudcomputingplatforms，andGovernment,universities,researchinstitutionsorenterprisessuccess

7、ivelyuseHDFSasitsclusters’storageplatform.However,despiteHDFShasagoodperformance,itstillhasobviousproblems.SuchasthesinglepointfailureofNameNode,thewastedindatastorageandthelowefficiencyofsmallfilesstoring.Now,researchesoftenaimsatonlyoneoftheseproblems,therefore,t

8、heydon’tintegrateandimprovetheproblemsofHDFSsystematically.Tosolvetheseproblems,wedesignandrealizeahigh-performanceHDFSstorageplatform.Theplatfor