Hadoop云计算平台搭建最详细过程(共22页)

《Hadoop云计算平台搭建最详细过程(共22页)》由会员上传分享，免费在线阅读，更多相关内容在工程资料-天天文库。

1、实用标准文档Hadoop云计算平台及相关组件搭建安装过程详细教程——Hbase+Pig+Hive+Zookeeper+Ganglia+Chukwa+Eclipse等一．安装环境简介根据官网，Hadoop已在linux主机组成的集群系统上得到验证，而windows平台是作为开发平台支持的，由于分布式操作尚未在windows平台上充分测试，所以还不作为一个生产平台。Windows下还需要安装Cygwin，Cygwin是在windows平台上运行的UNIX模拟环境，提供上述软件之外的shell支持。实际条件下在windows系统下进行Hadoop伪分布式安装时，

2、出现了许多未知问题。在linux系统下安装，以伪分布式进行测试，然后再进行完全分布式的实验环境部署。Hadoop完全分布模式的网络拓补图如图六所示：（1）网络拓补图如六所示：图六完全分布式网络拓补图（2）硬件要求：搭建完全分布式环境需要若干计算机集群，Master和Slaves处理器、内存、硬盘等参数要求根据情况而定。文案大全实用标准文档（1）软件要求操作系统64位Ubuntu12.04.4JDK版本:jdk-7u51-linux-x64.tar.gzNO.ProjectVersionContent1HardwareenvironmentCPU:Intel

3、2.00GHzDisk:150GBMemory:2.00GBMaster/NameNodeIP:192.168.100.90Slave1/DataNodeIP:192.168.100.105Slave2/DataNodeIP:192.168.100.1062OperationsystemUbuntu-12.0464-bit3JDKjdk-7u51-linux-x64.tar.gz/usr/bin/jvm/jdk1.7.0_514Hadoophadoop-1.2.1.tar.gz/home/majiangbo/hadoop-1.2.15Zookeeperzo

4、okeeper-3.4.6.tar.gz/home/majiangbo/hadoop-1.2.1/zookeeper-3.4.66HBaseHbase-0.94.20.tar.gz/home/majiangbo/hadoop-1.2.1/hbase-0.94.207Pigpig-0.12.0.tat.gz/home/majiangbo/hadoop-1.2.1/pig-0.12.08Hivehive-0.12.0.tar.gz/home/majiangbo/hadoop-1.2.1/hive-0.12.09Ganglia/home/majiangbo/ha

5、doop-1.2.1/10EclipseEclipsestandard4.3.2/home/majiangbo/eclipse11HadoopforeclipsepluginHadoop-eclipse-plugin-1.2.1.jar/home/majiangbo/eclipse/plugins12Chukwa（可选）并且所有机器均需配置SSH免密码登录。文案大全实用标准文档二．Hadoop集群安装部署目前，这里只搭建了一个由三台机器组成的小集群，在一个hadoop集群中有以下角色：Master和Slave、JobTracker和TaskTracker、

6、NameNode和DataNode。下面为这三台机器分配IP地址以及相应的角色：192.168.100.90——master，namenode，jobtracker——master（主机名）192.168.100.105——slave，datanode，tasktracker——slave1（主机名）192.168.100.106——slave，datanode，tasktracker——slave2（主机名）实验环境搭建平台如图七所示：图七hadoop集群实验平台并且，Hadoop要求集群上每台的用户账户名和密码相同。具体安装步骤如下：1.下载和安装JD

7、K,版本为jdk-7u51-linux-x64.tar.gz（1）JDK的安装目录为/usr/lib/jvm，创建此文件夹，在终端输入命令：mkdir/usr/lib/jvm（2）权限不够的话重新改下用户密码就可以了，命令:sudopasswd,文案大全实用标准文档之后重新输入密码。（1）移动jdk到/usr/lib/jvm，并解压,然后为了节省空间删除安装包。命令:mvjdk--7u51-linux-x64.tar.gz/usr/lib/jvmtar–zxvfjdk--7u51-linux-x64.tar.gzrm–rfjdk--7u51-linux-x

8、64.tar.gz1.配置环境变量在终端输入命令：sudogedi