黄冈师范学院网络工程专业本科生毕业论文

《黄冈师范学院网络工程专业本科生毕业论文》由会员上传分享，免费在线阅读，更多相关内容在学术论文-天天文库。

1、黄冈师范学院本科生毕业论文题目:HDFS源代码分析与云存储环境搭建专业班级：网络工程2010级01班学号：9学生姓名：　指导教师：论文完成日期:2014年5月郑重声明本人的毕业论文是在指导老师的指导下独立撰写并完成的。毕业论文没有剽窃、抄袭、造假等违反学术道德、学术规范和侵权行为，如果有此现象发生，本人愿意承担由此产生的各种后果，直至法律责任；并可通过网络接受公众的查询。特此郑重声明。毕业论文作者(签名)：年月　日目录1绪论31.1研究目的和意义31.2研究内容31.3研究方法和技术路线41.4预期的研究目标4

2、2HDFS简介52.1分布式文件系统HDFS特性52.1.1高吞吐量访问52.1.2无缝容量扩充52.1.3高度容错52.2HDFS基本概念52.2.1数据块52.2.2元数据节点和数据节点52.2.3文件系统命名空间映像文件及修改日志72.2.4HDFS中的数据流82.3HDFS构架与设计102.3.1HDFS构架（如图所示）112.3.2HDFS的设计112.3.3文件系统的namespace112.3.4数据复制112.3.5文件系统元数据的持久化122.3.6通信协议122.4HDFS的主要设计理念12

3、2.4.1存储超大文件122.4.2最高效的访问模式是一次写入、多次读取(流式数据访问)122.4.3运行在普通廉价的服务器上122.5HDFS的缺点122.5.1将HDFS用于对数据访问要求低延迟的场景12II2.5.2存储大量小文件123HDFS源码分析概要133.1基础包（包括工具包和安全包）133.2HDFS实体实现包133.3应用包223.4WebHDFS相关包224HDFS源代码分析及程序设计234.1HadoopI/O系统254.2org.apache.hadoop.io284.3org.apac

4、he.hadoop.rpc294.3.1org.apache.hadoop.rpc.Client304.3.2org.apache.hadoop.rpc.Server315测试结果及截图335.1云计算环境搭建33附录34附录一HDFS的JAVA接口API操作实例34附录二演示操作HDFS的java接口36参考文献38致谢39IIHDFS源代码分析与云存储环境搭建HDFS源代码分析与云存储环境搭建专业：网络工程班级：班作者：指导老师：摘要HDFS是HadoopDistributeFileSystem的简称，也就

5、是Hadoop的一个分布式文件系统。它已经在各种大型在线服务和大型存储系统中得到广泛应用，已经成为各大网站等在线服务公司的海量存储事实标准，多年来为网站客户提供了可靠高效的服务。Hadoop系统在处理各种数据处理问题时，采用了分布式存储方式，提高了读写速度，并扩大了存储容量。采用MapReduce来整合分布式文件系统上的数据，可保证分析和处理数据的高效。与此同时，Hadoop还采用存储冗余数据的方式保证了数据的安全性。Hadoop中HDFS的高容错特性，以及它是基于Java语言开发的，这使得Hadoop可以部署

6、在低廉的计算机集群中，同时不限于某个操作系统。在本次设计中，我们首先搭建虚拟机下ubuntu中的云计算环境，在本机安装eclipse并进行配置使得本机可以与ubuntu下的云计算进行通讯。后逐次对源代码进行分析和实践，了解hdfs各个功能和实现原理，并可以通过自编程序实现hdfs的基本功能。关键词：Hadoop；HDFS；MapReduce；java；云计算；分布式文件系统；云存储环境搭建HDFSSourceCodeAnalysisand第39页共39页HDFS源代码分析与云存储环境搭建CloudStorage

7、EnvironmentBuildingSpeciality:NetworkEngineeringClass:1001Author:WangTingTutor:CuiYi-huiAbstractHDFSHadoopDistributeFileSystemabbreviation,adistributedfilesystemisHadoop.Ithasbeenwidelyusedinvariouslargeonlineservicesandlargestoragesystem,hasbecomeeachbigweb

8、site,onlinecompanies'smassstoragestandardinfact,overtheyearsforthecustomerprovideareliableandefficientservice.Hadoopsystemintheprocessingofvariousdataprocessingproblems,adoptsthedistributedstora