hadoop0.20.2集群配置

《hadoop0.20.2集群配置》由会员上传分享，免费在线阅读，更多相关内容在应用文档-天天文库。

1、实用文案搭建一个hadoop集群包括：1个namenode2个datanonde1、修改主机名及IP地址Ø192.168.10.184配置vi/etc/sysconfig/network添加内容：NETWORKING=yesHOSTNAME=masterØ192.168.10.185配置vi/etc/sysconfig/network添加内容：NETWORKING=yesHOSTNAME=slaves1Ø192.168.10.186配置vi/etc/sysconfig/network添加内容：NETWORKING=yesHOSTNAME=slaves2Øvi/etc/hosts要将文

2、件的前两行注释掉(注释当前主机的信息)并在文件中添加所有hadoop集群的主机信息Ø把hosts文件copy到其余2台服务器scp/etc/hosts root@192.168.10.185:/etc/Ø然后分别执行/bin/hostsnamehostsname例如：master上执行/bin/hostsnamemaster，使之生效。2、配置主机间无密码ssh各服务器Ø在各个主机上执行操作：ssh-keygen -t rsa，然后一直回车标准文档实用文案在/root/.ssh/目录下生成了两个文件 id_rsa 和 id_rsa.pubcp id_rsa.pub authorize

3、d_keys修改authorized_keys的权限为600chmod600~/.ssh/authorized_keysØ先将所有authorized_keys合并cat ~/.ssh/authorized_keys 

4、 ssh root@192.168.10.167 'cat >> ~/.ssh/authorized_keys'合并结果如下图：标准文档实用文案Ø然后复制分发到其他服务器（若没有.ssh文件夹需要自行创建）scp authorized_keys root@192.168.10.185:/root/.ssh/Ø验证能否无密码ssh，在master服务器上执行操作：注意：

5、第一次可能会提示输入yes or no，之后就可以直接ssh到其他主机上去了。Ø1、卸载JDK（可以不卸载）查看系统已经装的jdk：rpm-qa

6、grepjdk卸载jdk：rpm-e--nodepsjava-1.6.0-openjdk-javadoc-1.6.0.0-1.66.1.13.0.el6.x86_642、安装JDK（三台机器都要安装）Ø安装在同一位置/opt/java/jdk1.7.0_72Ø下载JDKØ解压JDK：tar-zxvf/opt/java/jdk-7u72-linux-x64.gzØ配置环境变量：编辑profile文件：vi/etc/profile在profil

7、e文件末尾添加以下代码：exportJAVA_HOME=/opt/java/jdk1.7.0_72exportJRE_HOME=$JAVA_HOME/jreexportPATH=$JAVA_HOME/bin:$PATHexportCLASSPATH=.:$JAVA_HOME/lib:$JRE_HOME/lib使得刚才编辑的文件生效：source/etc/profile测试是否安装成功：java–version3、安装hadoop在master主机上配置hadoopØ配置的位置：/opt/hadoop/hadoop-0.20.2Ø下载hadoopØ解压hadoop：tar-zxvf/o

8、pt/hadoop/hadoop-0.20.2.tar.gz配置配置文件hadoop-env.sh、core-site.xml、hdfs-site.xml、mapred-site.xml、slaves、masters在hadoop-0.20.2/conf目录下，具体配置如下hadoop-env.sh文件中加上jdk路径export JAVA_HOME=/usr/java/jdk1.6.0_21标准文档实用文案core-site.xml文件：hdfs-site.xml文件：mapred-site.xml文件：标准文档实用文案slaves在该文件中添加slaves1slaves2mast

9、ers在该文件中添加master分发配置文件将主节点上配置好的程序文件，复制到分发到各个从节点上scp -r /opt/hadoop/hadoop-0.20.2 slaves1:/opt/hadoop/scp -r /opt/hadoop/hadoop-0.20.2 slaves2:/opt/hadoop/Ø配置环境变量：（所有主机）编辑profile文件：vi/etc/profile在profile文件末尾添加以下代码：exportHADOOP_HOME