欢迎来到天天文库
浏览记录
ID:39551269
大小:56.00 KB
页数:7页
时间:2019-07-06
《hadoop-ha-qjm+hbase部署手册》由会员上传分享,免费在线阅读,更多相关内容在教育资源-天天文库。
1、1、该部署手册仅适用了hadoop-2.0.3alpha版本,不适用于之前的版本。应该适用于之后的版本,待验证。部署步骤如下:1.首先,关闭iptablesServiceiptablesstop并在chkconfig里面关闭掉A、命名nameservices及namenode主机名的端口等,目前只支持2个namenode的HA,该步骤的主要修改/hadoop-2.0.3-alpha/etc/hadoop/hdfs-site.xml文件,添加的内容如下dfs.nameservicesmyclus
2、terdfs.ha.namenodes.myclusternn1,nn2dfs.namenode.rpc-address.mycluster.nn1activenode:8020dfs.namenode.rpc-address.mycluster.nn2stand
3、bynode:8020dfs.namenode.http-address.mycluster.nn1activenode:50070dfs.namenode.http-address.mycluster.nn2standbynode:50070B、设置QuorumJournalManager(QJM)toshareedit
4、logsbetweentheActiveandStandbyNameNodes。在hdfs-site.xml文件中的设置如下:dfs.namenode.shared.edits.dirqjournal://hadoopslave5:8485;hadoopslave6:8485;hadoopslave7:8485/myclusterdfs.journalnode.edits.dir/home/had
5、oop_space/data这里的dfs.namenode.shared.edits.dir指定namenode存储共享日志的一个journalnode群。这里的hadoopslave567是任意一台机器,并非是namenode。Dfs.journalnode.edits.dir是上面journalnode群中机器本地存储的日志文件的地址。这里的journalnode应该是奇数个。C、添加客户端尝试activeNamenode的实现类,在hdfs-site.xml中添加如下文件:
6、dfs.client.failover.proxy.provider.myclusterOrg.apache.hadoop.hdfs.server.namenode.ha.ConfiguredFailoverProxyProvider指定客户端用于HA切换的代理类,不同的NS可以用不同的代理类以上示例为Hadoop2.0自带的缺省代理类D、设置防止脑裂的ssh及其私钥文件,在hdfs-site.xml中添加如下文件,其中dfs.ha.
7、fencing.ssh.private-key-files文件是该主机设置ssh到其他机器时生成的私钥文件,注意名称不要写错!有的是rsa的,示例中是dsa的,注意区分细节。dfs.ha.fencing.methodssshfencedfs.ha.fencing.ssh.private-key-files/root/.ssh/id_dsa<
8、name>dfs.ha.fencing.ssh.connect-timeout<
此文档下载收益归作者所有