基于hdfs的分布式存储系统的研究与实现

《基于hdfs的分布式存储系统的研究与实现》由会员上传分享，免费在线阅读，更多相关内容在学术论文-天天文库。

1、工程硕士学位论文基于HDFS的分布式存储系统的研究与实现作者姓名李鸣工程领域软件工程校内指导教师张平健教授校外指导教师潘勇高级工程师所在学院软件学院论文提交日期2016年12月ResearchandImplementationofHDFSDistributedFileSystemADissertationSubmittedfortheDegreeofMasterCandidate：LiMingSupervisor：ProfessorZhangPingJianSeniorEngineerPanYongSouthChinaUniversityofTechnologyGu

2、angzhou,China分类号：TP3学校代号：10561学号201120700652华南理工大学硕士学位论文基于HDFS的分布式存储系统的研究与实现作者姓名：李鸣指导教师姓名、职称：张平建教授校外指导教师、职称：潘勇高级工程师申请学位级别：工程硕士工程领域名称：软件工程论文形式：ꇶ产品研发ꇶ工程设计√应用研究ꇶ工程/项目管理调研报告研究方向：软件工程技术论文提交日期：2016年12月1日论文答辩日期：2016年12月3日学位授予单位：华南理工大学学位授予日期：年月日答辩委员会成员：主席：闵华清委员：黄翰，奉继承，徐扬，陆璐华南理工大学学位论文原剑性声明本

3、人邵巧产明ｔ所虽亞的运义是本人巧哥帅的指导下础立进巧硏巧巧取禪的邮罚成里。陳了文中特别加扯校注引陆的内容补，本适文不包普化柯其化个人或集体已经发表成偶巧的成巧化品。对本义的研扣顺山重型贡献的个人和集化，均已巧义中财明删方式称巧。本人完全度巧到本声巧的化徘后果而本人承。胃寺１占，３作醬笠名：日期；＞年日学位论文版权使用授权书－本単化巧文化斯立全哗■松化义沾巧１拙叫带化诚义的规由．巧：研＇＾．：＾Ｓ化化化边该巧位期Ｎ成义＿Ｌ作化知扣＾化啤化Ｈ华南翊工火巧。単权扣权巧梓并巧四宗有关部口或化构送交论文的乂巧抖巧化子损，化巧学化祐义被有

4、闽（陆化巧巧１内的化巧记义外）１単枚巧化布学位记义的全部或部分内容，，可凹化巧采川賠印帝印或化亡Ｍ邮平段巧巧、汇站争位企文。本人电子文挡问肉巧押取该也文的内巧化一致。本皆化论文悄于；□拙史＞，（枝化曲妾＾１甚市定站涉史学枉时问）；月日＿年＿？＿于＿＿年＿月＿曰解巧吊适用本巧化书。口示保密，同愚巧校园网上发．化Ｉ供侦内师化和与平校有巧早协议扣单位浏地；同意掛本人乎化芭义扣化中国乎冰朋刊（化盘版）电子杂志社全义山眼和端入邮Ｋ１《中凹知的资源曲库Ｋ悼捕学化论文的全部或邮分巧容。－＂＂（聞巧．臥邮若Ｊ帕内巧Ｖ）一ｂ—…巧者监扣韦

5、４ａ巧＇寺：指导教师空名：姥畔日摧＾摘要物质、能量和信息是自然科学研究的三个基本对象，处理、传输和存储是信息计算的三大基本任务。随着网络技术及信息处理技术的不断发展，个人数据和企业数据的产生量呈现爆炸性膨胀的趋势，IT系统正面临着海量数据存储成本高、管理困难、可靠性低的问题，为了充分利用资源，减少重复的投资，数据存储作为IT系统的主要架构和基础设施之一，逐步被作为一个完整的系统从IT系统中独立出来，分布式存储系统因为具有海量数据存储、高扩展性、高性能、高可靠性、高可用性的特点，目前正被作为[1]企业海量数据存储方案被业界所广泛讨论和应用。因此对于分布式存储

6、系统的研究不仅紧跟目前发展的趋势，而且具有较高的应用价值。本文基于对分布式存储系统的研究，旨在通过在网络环境下构建具有高传输性能、高可靠性、高可用性的网络分布式文件系统，通过网络数据流方式实现对海量文件系统中的数据进行存储和访问，解决大规模非结构化数据的存储、查询、高性能读取、高容错性的问题，为IT系统提供高性能、高可靠性、高可用性的存储应用服务，并为今后的分布式计算研究提供技术基础。本文阐述的主要内容如下：（1）分布式架构的相关理论以及分布式存储系统的应用现状，介绍了分布式存储系统概念；（2）然后引入开源项目Hadoop的HDFS分布式文件系统，接着对HDFS关键

7、运行机制进行了详细分析；（3）并在此基础上，通过搭建基于HDFS1.1.2版本的实验环境进行实际的测试验证，采集实验数据，并对实验结果作出进一步的分析总结，得到理论和实际结合的第一手资料；最后，通过结合实际需求，对中小企业存储体系、功能结构及运行环境进行了设计和规划。关键字：分布式存储系统、HDFS、Hadoop1AbstractMaterial,energyandinformationarethreebasicobjectsintheresearchofnaturalscience,processing,transmissionandstoragearethe