Storm入门教程 第三章 Storm安装部署步骤(1).doc

《Storm入门教程 第三章 Storm安装部署步骤(1).doc》由会员上传分享，免费在线阅读，更多相关内容在行业资料-天天文库。

1、Storm入门教程第三章Storm安装部署步骤(1)本文以TwitterStorm官方Wiki为基础，详细描述如何快速搭建一个Storm集群，其中，项目实践中遇到的问题及经验总结，在相应章节以“注意事项”的形式给出。AD：3.1Storm集群组件Storm集群中包含两类节点：主控节点（MasterNode）和工作节点（WorkNode）。其分别对应的角色如下：1.主控节点（MasterNode）上运行一个被称为Nimbus的后台程序，它负责在Storm集群内分发代码，分配任务给工作机器，并且负责监控集群运行状态。Nimbus的作用类似于Hadoop中JobT

2、racker的角色。2.每个工作节点（WorkNode）上运行一个被称为Supervisor的后台程序。Supervisor负责监听从Nimbus分配给它执行的任务，据此启动或停止执行任务的工作进程。每一个工作进程执行一个Topology的子集；一个运行中的Topology由分布在不同工作节点上的多个工作进程组成。Storm集群组件Nimbus和Supervisor节点之间所有的协调工作是通过Zookeeper集群来实现的。此外，Nimbus和Supervisor进程都是快速失败（fail-fast)和无状态（stateless）的；Storm集群所有的状态

3、要么在Zookeeper集群中，要么存储在本地磁盘上。这意味着你可以用kill-9来杀死Nimbus和Supervisor进程，它们在重启后可以继续工作。这个设计使得Storm集群拥有不可思议的稳定性。3.2安装Storm集群这一章节将详细描述如何搭建一个Storm集群。下面是接下来需要依次完成的安装步骤：1.搭建Zookeeper集群；2.安装Storm依赖库；3.下载并解压Storm发布版本；4.修改storm.yaml配置文件；5.启动Storm各个后台进程。3.2.1搭建Zookeeper集群Storm使用Zookeeper协调集群，由于Zookee

4、per并不用于消息传递，所以Storm给Zookeeper带来的压力相当低。大多数情况下，水草玛瑙mnwg.net单个节点的Zookeeper集群足够胜任，不过为了确保故障恢复或者部署大规模Storm集群，可能需要更大规模节点的Zookeeper集群（对于Zookeeper集群的话，官方推荐的最小节点数为3个）。在Zookeeper集群的每台机器上完成以下安装部署步骤：1.下载安装JavaJDK，官方下载链接为javasedownloadsindex.jsp，JDK版本为JDK6或以上。2.根据Zookeeper集群的负载情况，合理设置Java堆大小，尽可能

5、避免发生swap，导致Zookeeper性能下降。保守起见，4GB内存的机器可以为Zookeeper分配3GB最大堆空间。3.下载后解压安装Zookeeper包，官方下载链接为zookeeperreleases.html。4.根据Zookeeper集群节点情况，高山茶eupai.net在conf目录下创建Zookeeper配置文件zoo.cfg：tickTime=2000dataDir=varzookeeperclientPort=2181initLimit=5syncLimit=2server.1=zoo1:2888:3888server.2=zoo2:2

6、888:3888server.3=zoo3:2888:3888其中，dataDir指定Zookeeper的数据文件目录；其中server.id=host:port:port，id是为每个Zookeeper节点的编号，保存在dataDir目录下的myid文件中，zoo1~zoo3表示各个Zookeeper节点的hostname，第一个port是用于连接leader的端口，第二个port是用于leader选举的端口。5.在dataDir目录下创建myid文件，文件中只包含一行，且内容为该节点对应的server.id中的id编号。6.启动Zookeeper服务：j

7、ava-cpzookeeper.jar:liblog4j-1.2.15.jar:conforg.apache.zookeeper.server.quorum.QuorumPeerMainzoo.cfg或者binzkServer.shstart7.通过Zookeeper客户端测试服务是否可用：java-cpzookeeper.jar:srcjavaliblog4j-1.2.15.jar:conf:srcjavalibjline-0.9.94.jarorg.apache.zookeeper.ZooKeeperMain-server127.0.0.1:2181

8、或者binzkCli.sh-server127.0.