Hadoop2.2.0 HBase.96 Hive0.12配置.docx

《Hadoop2.2.0 HBase.96 Hive0.12配置.docx》由会员上传分享，免费在线阅读，更多相关内容在教育资源-天天文库。

1、公司产品最近在往大数据方向靠拢，个人有幸能参与在其中，一路研究下来，学习到了许多，也尝到了不少辛苦，尤其是Hadoop2.2.0+Hbase.96+Hive0.12的配置，前后折腾了近一个多星期，个中艰辛，恐怕只有真正的技术人员能体会吧，没有办法，绝强，死磕，本就是我们这些人的特点，下面讲一下自己的经历，给后来学习者一个提示吧，权当抛砖引玉。(一).首先是hadoop的下载和安装，hadoop2.2.0现在是apache官网上的最新stable版本，你可以从：http://mirror.bit.e

2、du.cn/apache/hadoop/common/stable/来下载hadoop-2.2.0.tar.gz 包。(二).下载后要将tar包传到我们计划的Linux系统上解压缩，一般来说我们肯定是已经准备好了Linux系统的，也许是一台真实的机器，也许只是测试玩玩的虚拟机，不管怎么样，在我们将tar包传到linux里之前，需要先在所有linux系统上准备一些环境，具体的有以下几步：     1.安装jdk，并设置好JAVA_HOME，比如/usr/java/jdk1.6      2.设置主机

3、名，一般来说hadoop集群都是多台机器的，得给他们安不同的名字以示区分，通过vi /etc/sysconfig/network设置hostname，假设为server1，集群中的其他机器记得设置其他不同的名字，如server2,server3等。说明，文中我以server1称为主机，也就是HDFS中的nameNode，HBase中的HMaster，其他机器server2,server3是HDFS中的dataNode和HBase中的regionServer和.ookeeper.quorum。   

4、  3.设置ip和hostname的映射关系，如果你还有其他的ip，也一并设置，通过vi/etc/hosts                  4.关闭防火墙，如果你要配置的是多个主机集群环境，那么必须将所有主机的防火墙关闭，否则有可能出现如HDFS中的dataNode无法心跳和NameNode同步的情况。      5.创建专门的用户，一般来说，我们不会直接用root来启停hadoop应用，如果是集群环境，建议统一设置的相同的环境变量和专门的用户，这样就不用在集群将同步的时候还考虑不同的环境变量

5、路径问题，比如我们创建hadoop用户。先创建组：groupaddhadoop，然后创建用户：useradd-ghadoophadoop，然后修改hadoop用户的密码：passwdhadoop，建议将密码设置的短点，因为后面你启停应用的时候要用到的，最后建议将hadoop用户加到sodu列表：vi/etc/sudoers (hadoop ALL=(ALL)   ALL)，      6.设置主机到其他机器的无密码ssh，hadoop会通过shell脚步去控制其他主机启停，所有必需设置ssh的无密

6、码登入，具体步骤如下：          a).用hadoop登入server1，cd到用户目录下，如/home/hadoop/运行ssh-keygen–trsa  (连续3次回车即可)  b).ssh拷贝到其他server上scp~/.ssh/id_rsa.pubhadoop@server2:~/temp_key  c).登入都各server上创建并改变.ssh权限 chmod 700 ~/.ssh  d).转换内容及改变权限    cat~/temp_key>>~/.ssh/authorize

7、d_keys    chmod 600 ~/.ssh/authorized_keys  e).验证：从server1上sshserver2或其他server,看看能不能直接登入，如果直接能登入不需要输入密码，则表示配置成功，否则重新配置，其他机器的配置把server2换成server3或其他即可。7.最后用hadoop用户再确认一下环境变量，比如hostname，JAVA_HOME,serviceiptablesstatus等8.同步集群里的机器时间，是他们之间的时间差距不要超过30秒，因为如果不

8、同步的话，后面hbase启动regionServer的时候会报错的。(三)环境准备好后，可以将下载的hadoop的tar包传了，建议上传到/home/hadoop用户目录下，方便管理，加压缩： tarxzvf hadoop-2.2.0.tar.gz ,加压缩就能在/home/hadoop下看到hadoop-2.2.0目录了。然后vi/home/hadoop/.bash_profile配置一下HADOOP_HOME，并在PATH后再加入hadoop下的bin和sbin，运行PATH=