cdh5.1.0hadoop-2.3.( 2+3 )0完全分布式集群配置及ha配置

《cdh5.1.0hadoop-2.3.( 2+3 )0完全分布式集群配置及ha配置》由会员上传分享，免费在线阅读，更多相关内容在行业资料-天天文库。

1、Hadoop-2.3.0-cdh5.1.0完全分布式集群配置及HA配置（冰峰）方式:2个master+3个slave hadoop-2.3.0-cdh5.1.0完全分布式集群配置HA配置重点说明:为了部署HA集群，应该准备以下事情：*NameNode服务器：运行NameNode的服务器应该有相同的硬件配置。*JournalNode服务器：运行的JournalNode进程非常轻量，可以部署在其他的服务器上。注意：必须允许至少3个节点。当然可以运行更多，但是必须是奇数个，如3、5、7、9个等等。当运行N个节点时，系统可以容忍

2、至少(N-1)/2个节点失败而不影响正常运行。一、安装前准备：操作系统：CentOS 6.5 64位操作系统环境：jdk1.7.0_45以上，本次采用jdk-7u72-linux-x64.tar.gzmaster1 192.168.100.151 namenode 节点master2 192.168.100.152 namenode 节点slave1192.168.100.153 datanode 节点slave2192.168.100.154 datanode 节点slave3: 192.168.100.155 dat

3、anode 节点注：Hadoop2.0以上采用的是jdk环境是1.7,Linux自带的jdk卸载掉，重新安装下载地址：http://www.oracle.com/technetwork/java/javase/downloads/index.html软件版本：hadoop-2.3.0-cdh5.1.0.tar.gz, zookeeper-3.4.5-cdh5.1.0.tar.gz下载地址：http://archive.cloudera.com/cdh5/cdh/5/开始安装：二、jdk安装1、检查是否自带jdkrpm -

4、qa 

5、 grep jdkjava-1.6.0-openjdk-1.6.0.0-1.45.1.11.1.el6.i686 2、卸载自带jdkyum -y remove java-1.6.0-openjdk-1.6.0.0-1.45.1.11.1.el6.i686 安装jdk-7u72-linux-x64.tar.gz在usr/目录下创建文件夹java,在java文件夹下运行tar –zxvf jdk-7u72-linux-x64.tar.gz解压到java目录下[root@master01 java]# lsjdk1.7

6、.0_72三、配置环境变量远行vi /etc/profile# /etc/profile# System wide environment and startup programs, for login setup# Functions and aliases go in /etc/bashrcexport JAVA_HOME=/usr/local/java/jdk1.7.0_65export JRE_HOME=/usr/local/java/jdk1.7.0_65/jreexport CLASSPATH=/usr/lo

7、cal/java/jdk1.7.0_65/libexport PATH=$JAVA_HOME/bin: $PATH保存修改，运行source /etc/profile 重新加载环境变量运行java -version[root@master01 java]# java -versionjava version "1.7.0_72"Java(TM) SE Runtime Environment (build 1.7.0_72-b13)Java HotSpot(TM) 64-Bit Server VM (build 24.55

8、-b03, mixed mode)Jdk配置成功四、系统配置预先准备5台机器，并配置IP,以下是我对这5台机器的角色分配。ip地址主机名NameNodeJournalNodeDataNodeZKHMsterHRegionServer192.168.100.151Master1是[主]是是是192.168.100.152Master2是[从]是192.168.100.153Slave1是是是是192.168.100.154Slave2是是是是192.168.100.155Slave3是是是journalnode共享文件集群

9、,这个配置要注意,保证是奇数个子节点,具体在哪几台无关ZooKeeper保证是奇数个子节点,具体在哪几台无关关闭防火墙chkconfig iptables off(永久性关闭)配置主机名和hosts文件[root@master01 java]# vi /etc/hosts127.0.0.1   localhost l