基于hadoop的分布式存储平台的搭建与验证毕业设计论文

《基于hadoop的分布式存储平台的搭建与验证毕业设计论文》由会员上传分享，免费在线阅读，更多相关内容在学术论文-天天文库。

1、北京交通大学毕业设计（任务书）毕业设计（论文）中文题目:基于hadoop的分布式存储平台的搭建与验证英文题目:Setupingandverificationdistributedstorageplatformbasedonhadoop北京交通大学毕业设计（任务书）毕业设计（论文）原创性声明和使用授权说明原创性声明本人郑重承诺：所呈交的毕业设计（论文），是我个人在指导教师的指导下进行的研究工作及取得的成果。尽我所知，除文中特别加以标注和致谢的地方外，不包含其他人或组织已经发表或公布过的研究成果，也不包含我为获得及其它教育机构的学位或学历而使用过的材料。对本研究提供过帮助

2、和做出过贡献的个人或集体，均已在文中作了明确的说明并表示了谢意。作者签名：　　　　　日　期：　　　　　指导教师签名：　　　　　日　　期：　　　　　使用授权说明本人完全了解大学关于收集、保存、使用毕业设计（论文）的规定，即：按照学校要求提交毕业设计（论文）的印刷本和电子版本；学校有权保存毕业设计（论文）的印刷本和电子版，并提供目录检索与阅览服务；学校可以采用影印、缩印、数字化或其它复制手段保存论文；在不以赢利为目的前提下，学校可以公布论文的部分或全部内容。作者签名：　　　　　日　期：　　　　　北京交通大学毕业设计（任务书）

3、学位论文原创性声明本人郑重声明：所呈交的论文是本人在导师的指导下独立进行研究所取得的研究成果。除了文中特别加以标注引用的内容外，本论文不包含任何其他个人或集体已经发表或撰写的成果作品。对本文的研究做出重要贡献的个人和集体，均已在文中以明确方式标明。本人完全意识到本声明的法律后果由本人承担。作者签名：日期：年月日学位论文版权使用授权书本学位论文作者完全了解学校有关保留、使用学位论文的规定，同意学校保留并向国家有关部门或机构送交论文的复印件和电子版，允许论文被查阅和借阅。本人授权　　　　大学可以将本学位论文的全部或部分内容编入有关数据库进行检索，可以采用影印、缩印或扫描等

4、复制手段保存和汇编本学位论文。涉密论文按学校规定处理。作者签名：日期：年月日导师签名：日期：年月日北京交通大学毕业设计（任务书）任务书题目：基于hadoop的分布式文件系统的实现与验证适合专业：信息安全指导教师（签名）：提交日期：2013年3月8日学院：计算机与信息技术学院专业：信息安全学生姓名：学号：毕业设计（论文）基本内容和要求：本项目的目的是要在单独的一台计算机上实现Hadoop多节点分布式计算系统。基本原理及基本要求如下：1.实现一个NameNodeNameNode是一个通常在HDFS实例中的单独机器上运行的软件。它负责管理文件系统名称空间和控制外部客户机的访

5、问。NameNode决定是否将文件映射到DataNode上的复制块上。实际的I/O 事务并没有经过NameNode，只有表示DataNode和块的文件映射的元数据经过NameNode。当外部客户机发送请求要求创建文件时，NameNode会以块标识和该块的第一个副本的DataNodeIP地址作为响应。这个NameNode还会通知其他将要接收该块的副本的DataNode。2。实现若干个DataNodeDataNode也是一个通常在HDFS实例中的单独机器上运行的软件。Hadoop集群包含一个NameNode和大量DataNode。DataNode通常以机架的形式组织，机架

6、通过一个交换机将所有系统连接起来。Hadoop的一个假设是：机架内部节点之间的传输速度快于机架间节点的传输速度。DataNode响应来自HDFS客户机的读写请求。它们还响应来自NameNode的创建、删除和复制块的命令。NameNode依赖来自每个DataNode北京交通大学毕业设计（任务书）的定期心跳（heartbeat）消息。每条消息都包含一个块报告，NameNode可以根据这个报告验证块映射和其他文件系统元数据。如果DataNode不能发送心跳消息，NameNode将采取修复措施，重新复制在该节点上丢失的块。具体设计模块如下：1、在虚拟机上安装多个linux系统

7、。并将其中之一拟作为namenode，其余系统拟作为datanode2、在上述所有系统中安装ssh，以确保不同节点之间可以实现无密钥安全通信。3、在上述系统中安装hadoop，以确保各个系统都可作为hadoop系统的其中一个节点。毕业设计（论文）重点研究的问题：1.基于windows环境，完成虚拟机上一个linux系统下hadoop的实现。2.基于系统克隆技术实现hadoop节点的复制。3.在上述基础上实现节点间无密钥安全通信。4.基于上述系统上运行wordcount以验证基于hadoop的分布式文件系统的有效性。5.分析handoop现有的安全机制