hadoop—集群维护手册.doc

《hadoop—集群维护手册.doc》由会员上传分享，免费在线阅读，更多相关内容在应用文档-天天文库。

1、Hadoop部分启动命令：start-all.sh停止命令：stop-all.shHadoop运行增加集群的存储量/节点如果只增加集群的存储量，建议增加Hadoopdatanode节点。步骤：1、停掉集群包括Hadoop和hbase，当然也可以不停掉，直接在hadoopnamenode的配置文件Slave里添加新节点的host，别忘了在host文件里也要添加新添加的host名。2、执行bin/start-all.sh启动集群3、以下选择一种1)如果不手动作平衡，插入的数据将会放在新添加的节点上。以趋于平衡。2)如果手动平衡，则start-balancer.sh和调用bin/sHad

2、oopbalancer命令相似，也可加参数-threshold5（threshold是平衡阈值，默认是10%，值越低各节点越平衡，但消耗时间也更长）。在使用start-balancer.sh时，如果在hdfs-site.xml里面没有配置dfs.balance.bandwidthPerSec，那么集群hdfs内部默认使用1M/S的速度移动数据(soslowly...)，我们可以通过在hdfs-site.xml里面配置dfs.balance.bandwidthPerSec来加快balance的速度。最开始我们配置的是20m/S，然后结果是导致job运行变得不稳定，出现一些意外的长ma

3、p单元，某些reduce时间处理变长(整个集群负载满满的情况下，外加20m/s的balance)，在前天的中国hadoop年会上听淘宝调整的为10m/s，需要调整后实验，看看情况如何。另外再修改dfs.balance.bandwidthPerSec参数后，需要在namenode上运行stop-dfs.shstart-dfs.sh重启hdfs生效。我们可以通过stop-balancer.sh停掉平衡任务。作完平衡后，启动hbase，正常。果cluster设置的副本数不为3（默认），需要先运行命令hadoopfs–setrep[-R]；进行设置一个文件的副本系数。如果默认为

4、3则不必。如果执行完平衡以后才改变副本数，会将新加入到新节点上的所有数据删除。dfs.replication设置的副本系数只在文件系统写入时有效，并不影响在新添加节点时，平衡时的副本数；另外：由于还有hbase数据库，因此，在运行完平衡以后，将hbase下的.META.文件删除（防止出错），启动hbase，执行hbaseorg.jruby.Mainadd_table/表名来进行hbase表恢复；Hadoop1升级1.运行dfsadmin-upgradeProgressstatus检查是否存在备份如果是第一次升级就不存在备份(在升级Hadoop前，如果已经存在备份，需要先结束fina

5、lize它。)2.备份dfs.namenode.dir下文件,同时要备份下hdfs的文件目录的元数据信息:bin/hadoopfsck/-files-blocks-locations>dfs-v-old-fsck-1.logbin/hadoopdfs-lsr/>dfs-v-old-lsr-1.logbin/hadoopdfsadmin-report>dfs-v-old-report-1.log 3.停止所有节点bin/stop-all.sh4.在所有节点上重新部署hadoop并替换conf文件夹下所有文件(就是将原有的hadoop-0.19.1更名为hadoop-0.19.1-ol

6、dverstion,然后解压hadoop-0.19.2.tar.gz将0.19.2中的conf文件替换为0.19.1中的conf文件夹)并且要对照修改hadoop-site.xml中的路径指定是否正确5.使用bin/start-dfs.sh-upgrade进行升级(DFS从一个版本升级到另外一个版本的时候，NameNode和DataNode使用的文件格式有可能会改变。当你第一次使用新版本的时候，你要告诉Hadoop去改变HDFS版本,否则，新版本不会生效) 6.监控升级情况和升级问题处理开始升级，你可以通过bin/hadoopdfsadmin-upgradeProgress命令来查

7、看版本升级的情况。当然你可以使用bin/hadoopdfsadmin-upgradeProgressdetails来查看更多的详细信息。当升级过程被阻塞的时候，你可以使用bin/hadoopdfsadmin-upgradeProgressforce来强制升级继续执行(当你使用这个命令的时候，一定要慎重考虑)。 当HDFS升级完毕后，Hadoop依旧保留着旧版本的有关信息，以便你可以方便的对HDFS进行降级操作。可以使用bin/start-dfs.sh-rollback