基于hadoop的分布式存储平台的搭建与验证论文

《基于hadoop的分布式存储平台的搭建与验证论文》由会员上传分享，免费在线阅读，更多相关内容在学术论文-天天文库。

1、基于hadoop的分布式存储平台的搭建与验证毕业论文目录任务书-3-中文摘要1Abstract2第一章前言21．1课题研究背景21．2分布式文件系统分类31．2．1GFS系统31．2．2蓝鲸分布式文件系统51．2．3FastDFS51．3课题研究目标和本文的主要工作61．4论文组织结构6第二章HADOOP技术架构研究82．1HADOOP技术背景82．2HDFS(HADOOP分布式文件系统)机制82．2．1前提和设计目标82．2．2Namenode和Datanode92．2．3文件系统的名字空间102．2．4通讯协议102．2．5健壮性102．3HADOOPMapReduce编程

2、模型122．3．1操作介绍122．4本章小结13第三章平台的搭建与验证143．1安装UbuntuLinux操作系统143．2安装jdk143．3修改机器名163．4安装ssh服务163．5安装hadoop17853．6在单机上运行hadoop183．7在三台电脑上部署hadoop集群21第四章hadoop安全分析234．1云安全技术234．1．1可信访问控制234．1．2密文检索与处理234．1．3数据存在与可使用性证明244．1．4数据隐私保护244．1．5云资源访问控制254．1．6可信云计算254．2Hadoop企业级应用的弱点分析264．2．1Hadoop系统单点设计瓶

3、颈264．2．2作业调度方式单一264．2．3异构平台兼容性27第五章hadoop安全协议275．1RPC275．1．1工作原理285．1．2协议结构295．1．3HadoopRPC机制及原理305．2Kerberos325．2．1Kerberos介绍325．2．2Kerberos协议结构335．2．3Kerberos的基本协定415．2．4Kerberos缺陷425．3IPC435．3．1IPC建立的过程43第六章结束语44附录I：翻译原文44中文翻译69参考文献8685第一章前言1．1课题研究背景分布式文件系统（DistributedFileSystem）指的是文件系统管理

4、的物理存储资源不一定直接连接在本地节点上，而是通过计算机网络与节点相连。分布式文件系统的设计基于客户机/服务器模式。一个典型的网络可能包括多个供多用户访问的服务器。另外，对等特性允许一些系统扮演客户机和服务器的双重角色。例如，用户可以“发表”一个允许其他客户机访问的目录，一旦被访问，这个目录对客户机来说就象使用本地驱动器一样，下面是三个基本的分布式文件系统。1．2分布式文件系统分类1．2．1GFS系统85在设计目标上与其它的分布式文件系统相似，比如数据可靠性、系统可扩展性、可用性、健壮性、可伸缩性等。但是它又不同于普通的文件系统，它完全针对Google公司需求而设计的。GFS是

5、非开源分布式文件系统。Google的核心数据就是页面索引。GFS专门对页面索引存储进行优化。GFS和普通分布式文件系统一样都是采用廉价的计算机搭建文件系统集群。GFS和大多文件系统一样都是采用单主机节点主从式架构。它包含两类节点，元数据节点和数据节点。用户通过客户端来访问整个文件系统。对于文件存储的处理，分布式文件系统大多将文件分割成数据块然后分配给数据服务器存储。GFS也采用这种方式，不同的是GFS中数据块以Linux文件形式存储。并且GFS根据设计目标提供了很多相应的策略来达到性能指标，包括数据块副本备份、文件与数据块的映射、以及被删除文件的垃圾回收和系统中文件的负载均衡。

6、之后的分布式文件系统也借鉴了GFS的一些设计理念，比如HDFS。851．2．2蓝鲸分布式文件系统蓝鲸分布式文件系统（BlueWhaleFileSystem，BWFS）是国家高性能计算机工程技术研究中心承担的国家“863”重点支持课题研究成果得到的产物。企业需要处理大规模数据，并且需要有高性能的数据处理能力，这样的需求就诞生了支持集群的BWFS。集群的效果是明显的，也是大势所趋。利用大量计算机组成一个集群体系结构，以此提供高性能计算能力[10]。传统的分布式文件系统比如NFS、CIFS等采用的是集中式存储结构，这种方式使得集群的低数据I/O能力与系统的高计算能力不匹配。数据传输在

7、传统分布式文件系统中存在瓶颈。中科蓝鲸的研究人员通过自己的技术克服了这一瓶颈，采用集群技术，使用多个存储设备组成集群，提高了数据传输效率。虽然BWFS借鉴了国外一些技术，但主要有自己的创新。蓝鲸文件系统采用了新型结构，网络可扩展体系结构。并且采用虚拟存储技术将多个存储设备上的资源合并成统一的存储空间，进行高效数据管理。BWFS目前可以运行在RedHatLinux7.2/8.0/9.0/AS3、其它厂商的Linux、微软Windows2000等操作系统中，向上千个客户端提供并发文件访问服务，提