基于hadoop校园云存储结构探究和研究

《基于hadoop校园云存储结构探究和研究》由会员上传分享，免费在线阅读，更多相关内容在工程资料-天天文库。

1、基于HADOOP校园云存储结构探究和研究摘要：信息时代的标志之一就是海量数据信息，其中包括文字，图片以及视频，复杂的数据离不开高性能的计算机，但往往高性能服务器的昂贵价格使众多企业单位望而却步，无奈之下，能够提高软件系统的分布式部署和调度能力使得越来越受到IT行业的认可和欢迎，普通的计算机要硬件，支持多并发用户的感受度，最关键的是达到了用户访问最低的运营成本。我校现在面临着校园规模的扩大、学生数量的逐年增加，大量的信息存储成为急需要解决的问题。我校实训室的计算机资源是非常充足的，足够建成一个资源硬件平台。因此，本论文设计了一个校园云

2、存储系统的结构模型设计。关键词：HADOOP校园云存储海量数据1云计算概述回顾IT的历史发展，从1960年到现在，集成电路计算机出现、微型计算机出现、20年前Internet网络普及、10年前GOOLE、AMAZON等开创了云计算的商业化应用，实现了It能力的远距离传输。现在云计算的应用是否会成为人类社会的核心力量，有了云计算的人类社会将会有怎么样精彩的生活。云计算(cloudcomputing)是以Internet为基础，在此基础上会增加、使用相关服务，其中关键技术就是利用互联网提供动态易扩展的虚拟化资源。云计算是分布式计算、并行

3、计算、效用计算、网络存储、负载均衡等传统计算机和网络技术发展融合的产物。2Hadoop计算模型Hadoop是Apache软件基金会组织下的一个开源项目，Hadoop以分布式计算为基础提供可靠、扩展的软件。降低硬件成本是Hadoop最大的一个特色，Hadoop可以利用普通的硬件架设大规模的集群系统，Hadoop是现在云计算、大数据存储最热门的方法之一。Hadoop由分布式文件系统HDFS(HadoopDistributedFileSystem)和映射/简化引擎(MAPReduce)两个部分构成。2.1分布式文件系统(HDFS)HDFS

4、一个是基于Hadoop框架中Java编写的分布式、可扩展的文件系统。每个Hadoop实例都有一个单独的命名空间节点(singlenamenode),该命名空间节点是HDFS文件系统的中心，它保存着系统中所有文件的目录树，可以追踪HDFS集群中数据保存的位置，但它并不保存数据本身。数据节点的集群组成HDFS集群。通常一个数据节点就是一个计算机，它来管理对应节点的存储。依靠TCP/IP协议文件中的数据被分割成很多块并存放在每个数据节点中，它们互相之间通过远程过程调用(RemoteProcedureCall)来相互调用数据。2.2映射/简

5、化引擎(MapReduce)映射/简化引擎是一种数据集中并行计算的编程模型，由Map映射和Reduce简化两个部分组成。Map是指映射函数，它在不改变原数据的基础上调用映射函数达到对相关数据进行指定操作。每个数据元素都是独立的，映射后数据不会有所改变，并且创建了一个新的数据集来保存答案。例如，将所有同学期末成绩和平时成绩进行百分比计算，那么可以定义一个'‘百分比计算的”映射函数，将结果重新计算出来oReduce是化简操作,它转换数据在内存中的表现形式（marshaling列集），它可以简化大规模数据操作，例如，计算所有同学的总分，可

6、以将相邻数据进行相加赋值最后简化为一个数据。MapReduce提供数据冗余和高容错性。3系统分析与设计3.1系统原型设计硬件部署：Hardoop采用版本0.16.3.tar.gz版本，操作系统使用Ubuntu10.10,共使用5台台式机，ip地址规划分配为192.168.3.1,192.168.3.2,192.168.3.3,192.168.3.4,192.168.3.5.在hadoop@master下安装JDK安装包master（64位），在/et/prof订e下配置环境变量，同时安装slave机（32位）安装包和环境变量，安装路

7、径与Master完全一样。通过测试后进行配置NameNode和DataNode.utuntulO.10系统默认的hosts文件内容如下:127.0.0.llocalhost,192.168.3.1为master,192.168.3.2,192.168.3.3,192.168.3.3,192.168.3.4,192.168.3.5为slave.安装配置Ssho首先在每台主机安装Ssho然后在每台主机夹下新建一个名为.ssh的目录。在Master机上生成密钥对。随后将密钥复制到所有Slave机上，以实现master无密码访问Slave机

8、。然后，进入所有机器的.SSH目录，修改每台机器上改变authorized_keys文件许可。安装为hadoop后，配置hadoop环境变量在/etc/profile下添加exportHAD00P_HOME二/home/hadoop/