基于hadoop的分布式存储平台的搭建和验证

《基于hadoop的分布式存储平台的搭建和验证》由会员上传分享，免费在线阅读，更多相关内容在教育资源-天天文库。

1、WORD格式整理版毕业设计（论文）中文题目:基于hadoop的分布式存储平台的搭建与验证英文题目:Setupingandverificationdistributedstorageplatformbasedonhadoop学院：计算机与信息技术专业：信息安全学生姓名：学号：指导教师：2013年06月01日学习参考好帮手WORD格式整理版任务书题目：基于hadoop的分布式文件系统的实现与验证适合专业：信息安全指导教师（签名）：提交日期：2013年3月8日学院：计算机与信息技术学院专业：信息安全学生姓名：学号：毕业

2、设计（论文）基本内容和要求：本项目的目的是要在单独的一台计算机上实现Hadoop多节点分布式计算系统。基本原理及基本要求如下：1.实现一个NameNodeNameNode是一个通常在HDFS实例中的单独机器上运行的软件。它负责管理文件系统名称空间和控制外部客户机的访问。NameNode决定是否将文件映射到DataNode上的复制块上。实际的I/O 事务并没有经过NameNode，只有表示DataNode和块的文件映射的元数据经过NameNode。当外部客户机发送请求要求创建文件时，NameNode会以块标识和该块

3、的第一个副本的DataNodeIP地址作为响应。这个NameNode还会通知其他将要接收该块的副本的DataNode。2。实现若干个DataNodeDataNode也是一个通常在HDFS实例中的单独机器上运行的软件。Hadoop集群包含一个NameNode和大量DataNode。DataNode通常以机架的形式组织，机架通过一个交换机将所有系统连接起来。Hadoop的一个假设是：机架内部节点之间的传输速度快于机架间节点的传输速度。DataNode响应来自HDFS客户机的读写请求。它们还响应来自NameNode的创

4、建、删除和复制块的命令。NameNode依赖来自每个DataNode学习参考好帮手WORD格式整理版的定期心跳（heartbeat）消息。每条消息都包含一个块报告，NameNode可以根据这个报告验证块映射和其他文件系统元数据。如果DataNode不能发送心跳消息，NameNode将采取修复措施，重新复制在该节点上丢失的块。具体设计模块如下：1、在虚拟机上安装多个linux系统。并将其中之一拟作为namenode，其余系统拟作为datanode2、在上述所有系统中安装ssh，以确保不同节点之间可以实现无密钥安全通

5、信。3、在上述系统中安装hadoop，以确保各个系统都可作为hadoop系统的其中一个节点。毕业设计（论文）重点研究的问题：1.基于windows环境，完成虚拟机上一个linux系统下hadoop的实现。2.基于系统克隆技术实现hadoop节点的复制。3.在上述基础上实现节点间无密钥安全通信。4.基于上述系统上运行wordcount以验证基于hadoop的分布式文件系统的有效性。5.分析handoop现有的安全机制可能存在的安全隐患并提出相应的解决措施。学习参考好帮手WORD格式整理版毕业设计（论文）应完成的工作

6、：1。了解整个系统的结构，针对系统所要完成的各项工作进行该方面的学习，掌握基于hadoop的分布式文件系统设计和实现方法。2。完成系统中必备的各个配置步骤。3。在系统上运行wordcount并进行系统性能分析。4。完成该项目所涉及代码及配置步骤的记录。5。对handoop现有的安全机制存在的安全隐患提出相应的解决措施。6。毕业论文。参考资料推荐：⑴TomWhite著，曾大聃，周傲英译，《Hadoop权威指南》[专著]，北京:清华大学出版社，2010⑵陈勇[著]，《基于hadoop平台的通信数据分布式查询算法的设计

7、与实现》[硕士学位论文]，北京:北京交通大学计算机学院，2009⑶周品主编，《hadoop云计算实战》[专著]。北京:清华大学出版社，2012⑷赵书兰编著，《典型hadoop云计算》[专著]。北京:电子工业出版社,2013学习参考好帮手WORD格式整理版其他要说明的问题：学习参考好帮手WORD格式整理版题目：基于hadoop的分布式文件系统的实现与验证学院：计算机专业:信息安全学生姓名：学号：文献综述：Hadoop分布式文件系统是遵循Google文件系统原理进行开发和实现的，受到IT业界极大关注，并已被广泛应用。

8、鉴于当前缺乏从系统设计理论的角度对其开展的相关研究，本文从Hadoop分布式文件系统架构的建模人手．通过对模型各组成部分进行分析．并将其与传统的分布式文件系统进行比较。总结出Hadoop分布式文件系统具有的海量、高可扩展性、高可靠性、高性能等面向云计算领域应用的霞要特征。本文有助于研究者系统、深入地研究Hadoop分布式文件系统的设计与实现。并为云计算背景下的分布式文件系