RedHat安装Hadoop(1.2.1)集群

《RedHat安装Hadoop(1.2.1)集群》由会员上传分享，免费在线阅读，更多相关内容在教育资源-天天文库。

1、RedHat安装Hadoop集群RedHat安装Hadoop集群操作系统：RedHatEnterpriseLinuxServerrelease5.8-x86_64软件版本：hadoop-1.2.1基本条件：Master（ＮameＮode）192.168.160.142Slave01（DateNode）192.168.160.140Slave02（DateNode）192.168.160.141Slave03（DateNode）192.168.160.1431.环境搭建（所有机子都得配制，基本用root用户操作）：1)确认安装openssh与rsyncrpm-qopensshrpm-q

2、rsync如果没有安装可以通过yuminstallopenssh来完成安装。2)确认安装JDKjava-version或javac如果没有安装，这里以jdk-7u21-linux-x64.tar.gz为例u解压：tar-xvfjdk-7u21-linux-x64.tar.gzu在/etc/profile中配制如下：JAVA_HOME=/opt/jdk7（根据其实情况）JRE_HOME=$JAVA_HOME/jreCLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jarPATH=$JAVA_HOME/bin:$PATHexpo

3、rtJAVA_HOMEJRE_HOMECLASSPATHPATHRedHat安装Hadoop集群u让环境变量生效：source/etc/profile1)用户与组的创建groupaddhadoopuseradd-ghadoophadoop2)其他环境配制（其实可以不用，因为可以通过IP直接访问的，主要为了方便记忆）u修改主机名vi/etc/sysconfig/network修改HOSTNAME为相应的名称（master、slave01、slave02、slave03）u修改Hosts添加如下（根据实际情况）192.168.160.140slave01192.168.160.141sl

4、ave02192.168.160.143slave03192.168.160.142master3)配制ssh的无密码登陆切换到hadoop用户ssh-keygen-trsa所有默认回车会在.ssh下产生以下两个文件：id_rsa（私钥，产生私钥的机子，即主动访问的机子拥有）、id_rsa.pub（公钥，发给被访问机子）。比如现在在master机子中生存密钥[hadoop@master.ssh]$sshmaster（192.168.160.142）会要求输入密码RedHat安装Hadoop集群[hadoop@master.ssh]$catid_rsa.pub>>authorized_

5、keys此时再ssh　master就不需要密码了，然后把id_rsa.pub公钥copy到slave机子中去[hadoop@master.ssh]$scpid_rsa.pubhadoop@slave01:~/.ssh/scpauthorized_keysslave01:/home/hadoop/.ssh/系统会要求输入访问机子的密码，正确输入密码后可以完成copy。在slave01机子中用hadoop用户登陆，catid_rsa.pub>>authorized_keys此时master机子就可以无密码ssh到slave01了，同理做相同操作到slave02、slave03这时mast

6、er可以无密码ssh登陆到所有slave了。现在，还要做的就是让所有slave结点可以无密码登陆到master，操作也一样。1.软件安装（用hadoop用户操作）这里在master下操作，其实就hadoop-1.1.2-bin.tar.gz在hadoop主目录中（/home/hadoop）1)解压hadoop包tar-xvfhadoop-1.1.2-bin.tar.gz2)修改权限（如果遇到问题，可以用root用户操作）chown-Rhadoop:hadoophadoop-1.1.2chmod-R755hadoop-1.1.23)配制Hadoop的PATH（这步所有机子最好都配制）在

7、~/.bash_profile（其实也可以修改/etc/profile配制文件）中修改如下PATH=$PATH:$HOME/bin:/home/hadoop/hadoop-1.1.2/bin（根据实际情况）exportPATHRedHat安装Hadoop集群使配制文件生效source~/.bash_profile1)修改hadoop配制uvi~/hadoop/conf/core-site.xml添加如下配制fs.defaul