hadoop实验集群搭建手册

《hadoop实验集群搭建手册》由会员上传分享，免费在线阅读，更多相关内容在工程资料-天天文库。

1、Hadoop实验集群搭建手册Ver.变更日期变更者说明12015/8/10王旭东初版目录1.目的：42.集群构成：42.1.集群构成图：42.2.集群构成明细：53.Hadoop安装前的准备：53.1.安装JDK53.2・0參改/etc/hosts文件633增加Hadoop集群专有用户73.4.安装和配置SSH71.安装和配置Hadoop集群84・1・在NameNode节,点安装Hadoop84.2.修改search用户环境设置文件94.3.在NameNode节点配置Hadoop104.3.1酉己置hadoop-env.sh文件104.3.2酉己置core-site.xm

2、l文件114.3.3西己置mapred-site.xml文件114.3.4酉己置hdfs-site.xml文件124.3.5配置yarn-site.xml文件134.3.6配置主、从节点列表文件144.4.远程复制Hadoop到集群其他节点142.启动Hadoop集群142.1.系统格式化142.2.启动集群155.2.1启动HDFS分布式文件系统155.2.2启动YARN资源管理器155.2.3验证集群运行状况151.Hadoop集群动态扌'•展171.1.Hosts和Slaves文件中增加新增节点信息181.2.配置新增节点的SSH181.3.远程复制Hadoop到新

3、增节点191.4.在新增节点上单独启动Hadoop191・目的:本手册旨在熟悉Hadoop2.X集群的安装与配置过程。通过本手册的内容，使用户可以搭建一个拥有三个节点的Hadoop集群。2•集群构成：2.1.集群构成图：.110:19000hataNode192-16&82.107SecondaryNaiiHjXode192.168.82.109:50090[JataNodc2.2.集群构成明细:该集群一共有三个安装了64位CentOS6.6系统的服务器节点。如下：1.NameNode：NameNode的主机名IP地址为:CentOS-Wl(192.168.82.110)

4、；2.SecondaryNameNode&DataNodel：DataNodel同时兼做SecondaryNameNode使用。它的主机名IP地址为：CentOS-W2(192.168.82.109)；3.DataNode2：DataNode2的主机名IP地址为：CentOS-W3(192.168.82.107)o3.Hadoop安装前的准备:3.1.安装JDK虽然CentOS6.6自带了一个open版的JDK。但为了保证集群运转正常，建议还是卸载自带版本后安装SUN公司提供的标准版Java?的JDK包。首先在用root用户登录CentOS-Wl的系统后，通过以下命令(红

5、字部分)检查系统已安装的JDK包的名称：[root@CentOS-Wl/]$rpm-qa

6、grepjdkjdkJ・7.0_75・fcs.x86_64java-1.6.0-openjdk-1.6.0.0-11.1.13.4.el6.x86_64java-1.7.0-openjdk-1.7.0.65-2.5.1.2.el6_5.x86_64通过yumremove命令卸载这些系统自带的JDK包:（如果在卸载jdk-1.7.0_75-fcs.x86_64包的同时，另外两个JDK包作为关联包也同时被卸载了，那么就不用再分别卸载它们了）接下来从Oracle官网下载64的JDK1.7的

7、RPM安装包到/mnt/hgfs/Share目录下后安装它。这里使用的安装包是：jdk-7u79-linux-x64.rpmo到这里为止就完成了CentOS-Wl±的标准JDK的安装工作。JDK的默认安装目录为〃/usr/java/jdkl.7.0_79/"orwxrrwrwrwrwrw月曰“月月月月月月月月月月月84888848444346214355141111197X-XXXX»X-----IrrrrrrrrrrrrrX-XXXX-X••■二rootrootrootrootrootrootrootrootrootrootrootrootrootrootrootroo

8、trootrootrootrootrootrootrootrootrootroot40963339409640964096409640409611449919940807110114173571614:441102:49COPYRIGHT614:44614:44614:44614:441102:49LICENSE614:441102:49README.html1102:49release1102:49src.zip1703:27THIRDPARTYLICENSEREADME-JAVAFX.txt1102：49THIRDPART