hadoop hbase 使用指南

《hadoop hbase 使用指南》由会员上传分享，免费在线阅读，更多相关内容在行业资料-天天文库。

1、第1章集群的搭建1.1集群的结构实验环境中共有6台服务器，搭建完全分布式HDFS与HBase环境，采用的Hadoop与HBase版本为hadoop0.20.2HBase0.92.0，其中一台节点做为NameNode和Master，另一台做为Master备份节点（可以不要备份Master节点），剩余四台则做为DataNode和RegionServer节点，并且在其上运行Zookeeper服务，整个实验环境结构如图11所示。图11HBase集群结构1.2基础环境整个系统要能正常的运行，在各机器上安装需要的程序软

2、件之前，也要正确的配置好网络连接、程序参数和系统设置等，主要包括：操作系统Ubuntu10.04、sun-java-6和OpenSSH。分别在每台服务器上安装上述的系统和程序，过程中要注意：根据Hadoop和HBase的系统兼容性要求Linux系统的版本可以不一致，不影响HDFS和HBase的运行。JDK的版本、安装位置和环境变量的设置都应保持一致。OpenSSH要设置为无密码访问，确保各服务器之间能正常通信。各服务器配置如表11所示。表11服务器的配置信息主机名IP地址（在同一网段内）备注Master1M

3、aster2Slave1Slave2Slave3Slave4192.168.1.100192.168.1.99192.168.1.101192.168.1.102192.168.1.103192.168.1.104NameNode和Master节点Master备份节点DataNode和RegionServerDataNode和RegionServerDataNode和RegionServerDataNode和RegionServer1.1软件的安装集群中Hadoop和HBase的版本要保持一致，并确保Hadoo

4、p和HBase版本相互之间兼容。1.1.1SSH设置1.1.1.1免密码SSH设置。生成密钥对，执行如下命令：$ssh-keygen-trsa然后一直按键，就会按照默认的选项将生成的密钥对保存在.ssh/id_rsa文件中，如图1-9所示。图1-9将密钥对保存在.ssh/id.rsa文件中进入.ssh目录，执行如下命令：$cpid_rsa.pubauthorized_keys此后执行$sshlocalhost，可以实现用SSH连接并且不需要输入密码。1.1.1.1SSH配置。该配置主要是为了实现在

5、机器之间执行指令时不需要输入密码。在所有机器上建立.ssh目录，执行：$mkdir.ssh在ubuntunamenode上生成密钥对，执行：$ssh-keygen-trsa然后一直按键，就会按照默认的选项将生成的密钥对保存在.ssh/id_rsa文件中。接着执行如下命令：$cd~/.ssh$cpid_rsa.pubauthorized_keys$scpauthorized_keysubuntudata1:/home/grid/.ssh$scpauthorized_keysubuntudata2:/

6、home/grid/.ssh最后进入所有机器的.ssh目录，改变authorized_keys文件的许可权限：$chmod644authorized_keys这时从ubuntunamenode向其他机器发起SSH连接，只有在第一次登录时需要输入密码，以后则不再需要。1.1.2JDK安装实验使用jdk-6u24-linux-x86.bin，软件放在共享文件夹下。把Java安装到目录/usr/java/jdk1.6.0_24，使用如下命令：$cd/usr/java/$/mnt/hgfs/share/jdk-6u24

7、-linux-x86.bin1.1.2.1JDK设置编辑系统文件/etc/profile，在文件最后添加JDK的环境变量。#setjavaenvironmentJAVA_HOME=/usr/java/jdk1.6.0_24CLASSPATH=.:$JAVA_HOME/bin:$PATHPATH=$JAVA_HOME/bin:$PATHExportJAVA_HOMECLASSPATHPATH1.1.1Hadoop的安装实验使用的是Hadoop-0.20.2.tar.gz安装包，包括HDFS和MapReduce，安

8、装过程如下：首先把Hadoop-0.20.2.tar.gz安装包解压到Linux/home/UserName目录下，命令为：$tar-zxvf/~/Hadoop-0.20.2.tar.gz/home/UserName解压文件之后需要对Hadoop进行配置，Hadoop的配置文件存放在/home/UserName/hadoop-0.20.2/conf目录之下，其中包括一个环境配置文件Ha