基于hdfs的文件管理系统的设计与实现

《基于hdfs的文件管理系统的设计与实现》由会员上传分享，免费在线阅读，更多相关内容在学术论文-天天文库。

1、学校代码：一＆Ｉ；；。，兰基于ＨＤＦＳ的文件管理系统的设计与实现研究生姓名：孟密密导师姓名：吴国新董永强校外导师：徐文平申请学位类别工程硕±学位授予单位东南大学一２０级学科名称软件工程论文答辩日期１６年１月１４日二级学科名称软件工程学仿授予日期２０１年月日答辩毒员会主席吉逸评阅人２０１６年１月２８日ＤＥＳＩＧＮＡＮＤＩＭＰＬＥＭＥＮＴＡＴＩＯＮＯＦＡＨＤＦＳ－ＢＡＳＥＤ巧ＬＥＭＡＮＡＧＥＭＥＮＴＳＹＳＴＥＭ

2、Ａ凡的ｉｓＳｕｂｍｉｔｅｄ化ＳｏｕｔｈｅａｓｔＵｎｉｖｅｒｓｉｔｙＦｏｒ化ｅＡｃａｄｅｍｉｃＤｅｒｅｅｏｆＭａｓｌｉｅｒｏｆＥｎｉｎｅｅｒｉｎｇｇｇＢＹＭｅｎＭｉｍｉｇＳｕｐｅｒｖｉｓｅｄｂｙＰｒｏｆ．ＷｕｕｏｘｉｎｇａｎｄＡｓｓｏｃ．Ｐｒｏｆ．ＤｏｎｇＹｏｎｇｑｉａｎｇＣｏｌｌｅｅｏｆＳｏｆｔｗａｒｅＥｎｉｎｅｅｒｉｎｇｇｇＳｏｕｔｈｅａｓｔＵｎｉｖｅｒｓｉｔｙ东南大学学位论文独创性声明本人声明所呈交的学位论文是

3、我个人在导师指导下进行的研究工作及取得的研究成果。尽我所知，除了文中特别加Ｗ标注和致谢的地方外，论文中不包含其他人已经发表或撰写过的研巧成果，也不包含为获得东南大学或其它教育机构的学位或证书而使用过的材料一同工作的同志对本研究所做的任何贡献均已在论文中作了明确的说明。与我并表示了谢意。研究生签名；娜禹日期；东南大学学位论文使用授权声明东南大学、中国科学技术信息研巧所、国家图书馆有权保留本人所送交学位论文的复印件和电子文档，可（＾采用影印、缩印或其他复制手段保存论文。本人电子文

4、档的内一致容和纸质论文的内容相。除在保密期内的保密论文外，允许论文被查阅和借阅，可Ｗ公布（包括刊登）论文的全部或部分内容。论文的公布（包括刊登）授权东南大学研究生院办理。Ｎ＊）－以。入研究生签名；、棘豕导师答名：日期；Ｗ占分＾摘要随着互联网的发展，各类企业需要保存和处理的数据也急剧増长。通常，中小金业需要对ＴＢ甚至ＰＢ级别的数据进行存储和分析。传统的工具对于处理如此规模的数省越来越无能为力，分布式文件系统应运而生。Ｄ一ＨａｄｏｏｐｉｓｔｒｉｂｕｔｅｄＦｉ

5、ｌｅＳｙｓｔｅｍＨＤＦＳ提供了个离容错性和髙呑化量的海量数据（）存储解决方案、、低成本的特点，非常适合中小，它具有离扩展性离可靠性、高吞吐量企业使用。但是由于ＨＤＦＳ并没有提供客户端管理工具，没有监控模块和分布式搜索功能、，从而无法满足中小企业希望数据操作简单方便管理维护便捷直观、访问文件快速髙效等实际应用需求。本文在深入理解与分析ＨＤＦＳ的存储技术、读写机制的基础上，基于Ｈａｄｏｏｐ分布一式系统架构，设计并实现了个基于ＨＤＦＳ的在线文件管理系统。论文的主要工作有：一（１）提出了

6、基于ＨＤＦＳ的文件管理系统解决方案，设计实现了个分布式的文件管理系统客户端，使用户能够方便地通过Ｗｅｂ页面对存储在ＨＤＦＳ中的海量数据进斤管理。（２）提出了ＨＤＦＳ下载优化方案和小文件存储方案，提高了ＨＤＦＳ的下载效率Ｗ及小文件的存储性能。＇（３）利用Ｅｉａｓｔｉｃｓｅａｒｃｈ分布式搜索技术，对ＨＤＦＳ文件管理系统中的数据创建索，优化和改进索引过程引文件，实现了分布式索引和分布式搜索功能。（４）通过部署和使用Ｇａｎｇｌｉａ集群监控系统，对Ｈａｄｏｏｐ集群的节点信息和流量信＇

7、息进行监控，加强了ＨＤＦＳ文件管理系统的可管理能力。论文最后对所实现的系统进行了详绩的功能和性能测试。实验结果表明，基于ＨＤＦＳ的分布式文件管理系统能够高效地管理海量文件，满足中小企业的实际应用需求。关键词：ＨＤＦＳ，Ｅｌａｓｔｉｃｓｅａｒｃｈ分布式文件系统，分布式捜索，１东南大学硕丄－学位论义ＡｂｓｔｒａｃｔＷｉ化化ｅｄｅｖｅｌｏｐｍｅｎｔｏｆＩｎｔｅｒｎｅｔ，ａｌｌｋｉｎｄｓｏｆｅｎ化ｒｐｒｉｓｅｓｎｅｅｄｔｏｐｒｏｃｅｓｓｌａｒｇｅａｍｏｕｎｔ

8、＊ｆｉｔ－Ｕｉｏｌｉａｉｄｌｒｏｗｎｄａａ．ＳｍａｌｌａｎｄｍｅｄｉｕｍｓｉｚｅｄｅｉｅｒｒｓｅｓｕｓｕａｌｓｔｏｒｅｄａｔａｏｆＰＢｌｅｖｅｌｐｙｇｇｐｙａｎｄＴＢｌｅｖｅｌ．Ａｖａｒｉｅｔｏｆｄｉｓｔｒｉｂｕｔｅｄ巧ｌｅｓｓｔｅｍｓｃａｍｅｉｎｔｏｂｅｉｎｔｏｍｅｅｔｓｕｃｈｒｅｕｉｒｅｍｅｎｔｓ．ｙｙｇｑＴｈｅＨａｄｏｏｐ