hadoop完全分布式配置(已配)

《hadoop完全分布式配置(已配)》由会员上传分享，免费在线阅读，更多相关内容在工程资料-天天文库。

1、Hadoop完全分布式配置环境：CentOs5>hadoop0.20.203^jdkl.6.0_29namenode:centosl(ip:192.168.1.101)datanode:centos2(ip:192.168.1.103)>centos3(ip:192.168.1.104)配置步骤：(1)配置NameNode和DataNode修改毎台机器的/etc/hosts(包括namenode和datanode)127.0.0.1localhost.localdomainlocalhost192.168.1.101centos1192」68.1」03centos2192

2、.168.1.104::1centos3Iocalhost6.1ocaldomain6localhost6(2)在所有的机器上建立相同的用户useraddgridpasswdgrid成功建立grid用户后，输入用户密码就是该用户密码(3)SSH设置使用grid用户登录在所有机器/home/grid下mkdir.ssh在namenode上生成密钥对$ssh-keygen-tdsa-P”-f〜/.ssh/id_dsa$cat〜/.ssh/id_dsa.pub»-/.ssh/authorized_keys注意点：不进行以下步骤SSH免密码登录设置会不成功.ssh目录要设成700

3、有执行权限authorized_keys要设成600否则会出错还有ssh登陆要加入用户名的比如sshroot@localhost这时从centos1向其他机器发起SSH连接，只有第一次登录时需要输入密码，以后则不需要(4)在所有机器上安装JDK下载jdk-6u29-linux-i586.bin,安装至J/usr/java下，cd到usr/java下chmodu+xjdk-6u29-linux-i586.bin7jdk-6u29-linux-i586.bin接下来要设置java的环境变量输入命令：gedit/etc/profile在文件的最后添加以下语句：JAVA_HOME

4、=/usr/java/jdk1.6.0_29exportJRE_HOME=/usr/java/jdkl.6.0_29/jreexportCLASSPATH三:$JAVA_HOME/lib:$JRE_HOME/lib:$CLASSPATHexportPATH=$JAVA_HOME/bin:$JRE_HOME/bin:$PATH保存退出，然后执行source/etc/profile即可。输入java-version命令，岀现如下信息就表示配置成功javaversion"1.6.0_29"Java(TM)SERuntimeEnvironment(build1.6.0_29-bl

5、1)JavaHotSpot(TM)ServerVM(build20.4-b02,mixedmode)(5)在所有机器上安装配置Hadoop首先在namenode上配置，配置后在分发到datanode上在这里，下载hadoop-0.20.203.tar.gz,然后解压到/home/grid/下即可tar-zxvfhadoop-0.20.203.ta匚gz接下来需要修改hadoop的conf文件夹下的配置信息：修改hadoop-env.sh,加入如下语句,使得hadoop能够找到java的路径。:exportJAVA_HOME=/usr/java/jdk1.6.0_29修改c

6、ore-site.xml,如卜：fs.default.namehdfs://centos1:9000修改hdfs-site.xml,女n卜dfs.replicationl修改mapred-site.xml,如下:

7、y>mapred.job.tracker192」6&1.101:9001保险起见这里写centos1对应的IP地址masters里写入作为namenode节点机器的IP192.168.1.101slaves里写入作为datanode节点的机器的IP192.168.1.103192.168.1.104到此,hadoop的有关配置己经完成,namenode端通过如下命令把配置好的hadoop发送到各个datanode处：s