flumekafkastorm安装文档

《flumekafkastorm安装文档》由会员上传分享，免费在线阅读，更多相关内容在应用文档-天天文库。

1、Chapter1:Flume+Kafka+Storm安装配置1.1实时日志分析系统简介日志实时分析处理时，可分为四部分，如下图2-1所示：1）数据采集负责从各节点上实时采集数据，选用Apache的Flume来实现2）数据接入由于采集数据的速度和数据处理的速度不一定同步，因此添加一个消息中间件来作为缓冲，选用Apache的Kafka3）流式计算对采集到的数据进行实时分析，选用Apache的Storm4）数据输出对分析处理后的结果持久化保存，暂定为Mysql数据库1.2安装Storm集群下面是搭建一个Storm集群需要依次完成的安装步骤：1、搭建Zookeeper集群2、在主控节点和工作节点服务器

2、上安装Storm依赖软件3、在主控节点和工作节点服务器上安装Storm4、修改storm.yaml配置文件5、启动Storm各后台进程SetupGuide-11-1.1.1搭建Zookeeper集群1、Zookeeper下载地址：http://www.apache.org/dyn/closer.cgi/zookeeper/2、在三台服务器上分别解压缩下载文件cd/usr/localtar-xzvfzookeeper-3.4.5.tar.gz3、修改三台服务器的/etc/hosts文件，内容如下所示：192.168.4.206cddserver1192.168.4.22

3、2cddserver2192.168.4.223cddserver34、在conf/zoo.cfg配置文件，增加下列内容：tickTime=2000initLimit=10syncLimit=5dataDir=/home/zookeeper/zkdatadataLogDir=/home/zookeeper/logsclientPort=2181server.1=cddserver1:2888:3888server.2=cddserver2:2888:3888server.3=cddserver3:2888:38885、conf/zoo.cfg文件中的dataDir参数指定目录下创建myid文件

4、，里面内容为一个数字，用来标识当前主机，conf/zoo.cfg文件中配置的server.X中X为什么数字，则myid文件中就输入这个数字echo"1">/home/zookeeper/zkdata/myidecho"2">/home/zookeeper/zkdata/myidecho"3">/home/zookeeper/zkdata/myid6、在/etc/profile中增加如下内容：exportZOOKEEPER_HOME=/usr/local/zookeeper-3.4.5SetupGuide-11-exportPATH=$ZOOKEEPER_HOME/bi

5、n:$PATH7、在集群中的每个节点上执行下列命令启动zookeeperzkServer.sh start8、在集群中的每个节点上执行下列命令查看zookeeper执行状态zkServer.sh statusdataDir指定Zookeeper的数据文件目录server.id=host:port:port，id是为每个Zookeeper节点的编号，保存在dataDir目录下的myid文件中，cddserver1、cddserver2、cddserver3表示各个Zookeeper节点的hostname，第一个port是用于连接leader的端口，第二个port是用于leader选举的端口。1.

6、1.1安装依赖软件1）安装JDK6JDK6下载地址：http://www.oracle.com/technetwork/java/javase/downloads/java-archive-downloads-javase6-419409.html1、下载JDK62、增加可执行权限：chmod+xjdk-6u45-linux-x64.bin3、执行：./jdk-6u45-linux-x64.bin（安装时注意操作系统位数）4、配置JAVA_HOME环境变量exportJAVA_HOME=/usr/local/jdk1.6.0_45exportCLASSPATH=.:$JAVA_HOME/lib

7、/dt.jar:$JAVA_HOME/lib/tools.jarexportPATH=$JAVA_HOME/bin:$PATH5、运行java、javac命令，测试java是否正常安装2）安装Python2.6.6Python2.6.6下载地址：http://www.python.org/ftp/python/2.6.6/Python-2.6.6.tar.bz21、下载Python2.6.62、编