Hadoop实验环境搭建

《Hadoop实验环境搭建》由会员上传分享，免费在线阅读，更多相关内容在工程资料-天天文库。

1、单机上通过虚拟机搭建Hadoop环境(以下过程软件版本不固定，只能相互兼容就可以)1.安装vmwareworkstation(12.1.0)2.创建3个虚拟机(每个虚拟机512M内存，8G空间)，每个虚拟机安装Ubuntu桌血•版(11.10)(虚拟机需安装vmaretools,上网上式可设宜为桥接方式：直接连接物理网络)。一个虚拟机作为namenode(master),两个虚拟机作为datanodel(slavel)和datanode2(slave2).三个虚拟机可以共享一个主机目录share,该目录在虚拟机上显示

2、为/mnt/hgfs/share对每个虚拟机：修改root密码(sudopasswdroot),然后用root用户登录。3.通过如卜配置master,slavel,slave2o1)通过vi/etc/hostname修改主机名。2)通过vi/etc/hosts修改/etc/hosts文件，增加三台机器的ip和hostname的映射关系.在/usr/src目录：4.下载zlib(1.2.8)并解压安装5.卜•载openssl(l.O.l)并解压安装6.下载openssh(6.0pl)并解压安装安装后运行命令sshloc

3、alhost，女□果显示"Privilegeseparationusersshddoesnotexist",解决方法：修改/etc/passwd,在其中加入sshd:x:74:74:Privilege-seperatedSSH:/var/empty/sshd:/nologin7.配置ssh无密码登录在命令行输入:vi/etc/profile.d/hadoop.sh在hadoop.sh加入以下命令：sudoufwdisable/usr/local/sbin/sshd在namenode:ssh-keygen-tdsa-P

4、〃一f在datanode1:ssh-keygen-tdsa-P〃一f在datanode2:ssh-keygen-tdsa-Pz,-f在namenode:scp~/.ssh/id_dsa.pub在datanode1:scp~/.ssh/id_dsa.pub在datanode2:scp~/.ssh/id_dsa.pub~/.ssh/id_dsa~/.ssh/id_dsa~/.ssh/id_dsa/mnt/hgfs/share/id_dsaO.pub/mnt/hgfs/share/id_dsal.pub/mnt/hgfs/

5、share/id_dsa2.pub分别在namenode,datanode1和datanode2执行:cat/mnt/hgfs/share/id_dsaO.pub»~/.ssh/authorized_keyscat/mnt/hgfs/share/id_dsal.pub»/"/.ssh/authorized_keyscat/mnt/hgfs/share/id_dsa2.pub>>~/.ssh/authorized_keys测试：sshlocalhostssh目标机器地址1.安装jdk对每个虚拟机：下载jdk(jdkl.

6、6.0)并解压，假定H录为/usr/src/jdkl.6.0设置环境变量。#vi/etc/profile在最后面加入#sctjavaenvironmentexportJAVA_H0ME=/usr/src/jdkl.6.0exportCLASSPATH=.:$JAVA_HOME/lib.tools.jarexportPATH=$JAVA_HOME/bin:$PATH保存退出，运行source/etc/profile2.安装hadoop在usr/src目录解压：tarzxvfhadoop-0.20.2.tar.gz把ha

7、doop的安装路径添加到/etc/profile中：ExportHADOOP_HOME=/usr/src/hadoop-0.20.2ExportPATH=$HADOOP_HOME/bin:$PATH9.配置hadoop在hadoop-0.20.1/conf目录：(1)对3个虚拟机，在conf/hadoop-env.sh屮配置java环境Vihadoop-env.sh在hadoop-env.sh文件中添加exportJAVA_HOME=/usr/src/jdkl.6.0(2)对namenode(假定namenode内部

8、地址为162.105.76.231,datanode1和datanode2分别为162.105.76.220,162.105.76.234)配置conf/masters和conf/slaves文件。Masters文件内容:masterslaves文件内容:slavelslave2(1)对namenode,datanode1和datanode2,