linux hadoop搭建手册以及三种集群模式配置

《linux hadoop搭建手册以及三种集群模式配置》由会员上传分享，免费在线阅读，更多相关内容在行业资料-天天文库。

1、Hadoop搭建手册以及三种集群模式配置1、环境配置：虚拟机：VMware-workstation-full-8.0.3-703057，磁盘空间50GB操作系统：CentOS-6.0-x86_64下载地址：http://www.ithome.com/html/soft/1961.htmHadoop：hadoop-1.2.1.tar.gzJAVA:jdk-7u67-linux-x64.rpm1．1使用root用户登录，新建hadoop用户和组命令：useraddhadooppasswdhadoop1．2关闭防火墙及SELinux1.2.1关

2、闭防火墙 禁止自启动1.2.2关闭SELinux将/etc/sysconfig/selinux文件中的 SELINUX=enforcing改为SELINUX=disabled即 然后在执行如下命令： setenforce0getenforce 1．3Java安装1.3.1上传文件并授权(1).上传jdk文件到希望安装的路径cpjdk-7u67-linux-x64.rpm/usr/localchmod775jdk-7u67-linux-x64.rpm(2).安装jdkrpm–ivhjdk-7u67-linux-x64.rpm(2).配置Ja

3、va运行环境在/etc/profile后面追加配置，具体配置如下：exportJAVA_HOME=/usr/local/default(4).验证Java运行环境1．4Hadoop安装1.4.2安装(1).解压tarzxvfhadoop-1.2.1.tar.gz(2).将解压之后复制到希望安装的路径cphadoop-1.2.1/usr/localchown–Rhadoop:hadoophadoop-1.2.1#将文件夹"hadoop"读权限分配给hadoop用户(3).配置Hadoop运行环境在/etc/profile后面追加配置，具体配

4、置如下：(4).验证Hadoop运行环境第二章．Hadoop集群配置Hadoop集群有三种运行模式，分别为单机模式，伪分布模式，完全分布式模式。单机模式和伪分布式模式的配置基本相同，本文档将重点介绍，在此基础上给出完全分布式模式搭建还需要的工作。1.单机模式（只有Master节点）单机模式是Hadoop的默认模式。在该模式下无需运行任何守护进程，所有程序都在单个JVM上执行。该模式主要用于开发调试MapReduce程序的应用逻辑。2.伪分布模式（Master和Slaver在同一机器上）在伪分布模式下，Hadoop守护进程运行在一台机器上，

5、模拟一个小规模的集群。该模式在单机模式的基础上增加了代码调试功能，允许你检查NameNode，DataNode，JobTracker，TaskTracker等模拟节点的运行情况。3.完全分布式模式（存在Slaver节点和Master节点不在同一机器上）单机模式和伪分布模式均用于开发与调试的目的。真实Hadoop集群的运行采用的是全分布模式。2.1配置集群模式2.1.1修改/etc/sysconfig/network文件2.1.2修改/etc/hosts文件2.1.3使修改生效2.1.4验证修改2.2SSH无密码验证配置2.2.1Root用

6、户修改/etc/ssh/sshd_config文件RSAAuthenticationyes#启用RSA认证PubkeyAuthenticationyes#启用公钥私钥配对认证方式AuthorizedKeysFile.ssh/authorized_keys#公钥文件路径2.2.2配置(1).切换到hadoop用户(2).生成无密码RSA秘钥对在Master节点上把id_rsa.pub追加到授权的key里面去(2.2.1节)cat~/.ssh/id_rsa.pub>>~/.ssh/authorized_keys（3）.重启SSH服务servi

7、cesshdrestart最好将sshd设为开机启动：chkconfigsshd--level12345on2.2.3.验证登陆完全分布式模式下，Slaver节点不仅需要同样上述的操作，还需要将Master节点的~/.ssh/id_rsa.pub文件追加到自己的~/.ssh/authorized_keys文件的后面，然后Master节点还需要通过sshSlaver进行验证。2.3修改配置文件2.3.1配置Hadoop运行环境：$HADOOP_HOME/conf/hadoop-env.sh2.3.2配置HDFS（1）.配置Hadoop核心配

8、置文件$HADOOP_HOME/conf/core-site.xmlhado