Hadoop2.2.0集群安装.doc

《Hadoop2.2.0集群安装.doc》由会员上传分享，免费在线阅读，更多相关内容在行业资料-天天文库。

1、Hadoop最新安装手册一、Hadoop2.2.0完全分布式集群平台安装设置：HDFSHA架构：在一个典型的HDFSHA场景中，通常由两个NameNode组成，一个处于active状态，另一个处于standby状态。ActiveNameNode对外提供服务，比如处理来自客户端的RPC请求，而StandbyNameNode则不对外提供服务，仅同步activenamenode的状态，以便能够在它失败时快速进行切换。为了能够实时同步Active和Standby两个NameNode的元数据信息（实际上editlog），需提供一

2、个共享存储系统，可以是NFS、QJM（QuorumJournalManager）或者Bookeeper，ActiveNamenode将数据写入共享存储系统，而Standby监听该系统，一旦发现有新数据写入，则读取这些数据，并加载到自己内存中，以保证自己内存状态与ActiveNameNode保持基本一致，如此这般，在紧急情况下standby便可快速切为activenamenode。注意，在Hadoop2.0中，不再需要secondarynamenode或者backupnamenode，它们的工作由Standbynamen

3、ode承担。本文将重点介绍基于QJM的HA解决方案。在该方案中，主备NameNode之间通过一组JournalNode同步元数据信息，一条数据只要成功写入多数JournalNode即认为写入成功。通常配置奇数个（2N+1）个JournalNode，这样，只要N+1个写入成功就认为数据写入成功，此时最多容忍N-1个JournalNode挂掉，比如3个JournalNode时，最多允许1个JournalNode挂掉，5个JournalNode时，最多允许2个JournalNode挂掉。基于QJM的HDFS架构如下前提条件：

4、1、首先在每台Linux电脑上面安装好JDK6或其以上版本，并设置好JAVA_HOME等，测试一下java、javac、jps等命令是否可以在终端使用，如何配置JDK这里就不说了；2、在每台Linux上安装好SSH，如何安装请参加《Linux平台下安装SSH》。后面会说如何配置SSH无密码登录。有了上面的前提条件之后，我们接下来就可以进行安装Hadoop分布式平台了。步骤如下：1、先设定电脑的IP为静态地址：CentOS下设置IP的方式：在里面添加下面语句：里面的IPADDR地址设置你想要的，我这里是10.10.141

5、.14。设置好后，需要让IP地址生效，运行下面命令：然后运行ifconfig检验一下设置是否生效：可见IP地址已经设置为10.10.141.14了。2、设置各个主机的hostnameCentOS设置hostname步骤如下：将里面的HOSTNAME修改为你想要的hostname，我这里是取hadoop-activeHOSTNAME=hadoop-active查看设置是否生效，运行下面命令3、在所有电脑的/etc/hosts添加以下配置：其实就是所有电脑的静态IP地址和其hostname的对应关系。检验所有机器配置是否修

6、改生效，可以用ping来查看如果上面的命令可以ping通，说明配置成功。4、设置SSH无密码登陆终端中执行：[hadoop@hadoop~]$ssh-keygen-trsaGeneratingpublic/privatersakeypair.Enterfileinwhichtosavethekey(/home/hadoop/.ssh/id_rsa)://使用默认位置Enterpassphrase(emptyfornopassphrase)://直接回车Entersamepassphraseagain:Yourident

7、ificationhasbeensavedin/home/hadoop/.ssh/id_rsa.Yourpublickeyhasbeensavedin/home/hadoop/.ssh/id_rsa.pub.Thekeyfingerprintis:5b:47:52:a7:1e:1c:4d:98:d7:04:eb:d9:0e:5f:dd:3dhadoop@hadoopThekey'srandomartimageis:+--[RSA2048]----+

8、o=++.

9、

10、o+o..

11、

12、.=..

13、

14、+oo+

15、

16、S.o+E*

17、

18、o

19、.+o

20、

21、o

22、

23、

24、

25、

26、+-----------------+[hadoop@hadoop~]$cp/home/hadoop/.ssh/id_rsa.pub/home/hadoop/.ssh/authorized_keys[hadoop@hadoop~]$chmod644/home/hadoop/.ssh/authorized_ke