flume安装部署手册new

《flume安装部署手册new》由会员上传分享，免费在线阅读，更多相关内容在应用文档-天天文库。

1、Flume-NG安装部署说明保密文件不得外传Flume-NG安装部署说明14/14目录1.前言51.1.适用范围51.2.专业术语51.3.前提和假设51.4.注意事项51.5.参考文档52.ApacheFlume介绍62.1.数据流模型62.2.ApacheFlume支持的其它数据流模型62.2.1.多代理流6Flume-NG安装部署说明14/142.2.2.合并流72.2.3.多通路流73.部署说明83.1.先决条件83.1.1.操作系统平台83.1.2.所需软件83.2.环境准备83.2.1.账号分配83.2.2.目录分配83.2.3.环境变量设置83.3.安装步骤83.3.1.下

2、载安装包83.3.2.解压安装包83.3.3.配置说明94.日常维护104.1.启动ApacheFlumeAgent104.2.启动ApacheFlumeClient114.3.停止ApacheFlume134.4.ApacheFlume命令135.其它14Flume-NG安装部署说明14/14Flume-NG安装部署说明14/141.前言Flume开始由Cloudera公司开发，2011年Cloudera公司将Flume贡献给开源社区，现在ApacheFlume是ApacheSoftwareFoundation的一个顶级项目。目前Flume有两个可用的Release版本：0.9x和1.

3、x。0.9x版本称为Flume-OG由Cloudera公司开发和维护，1.x版本称为Flume-NG由ApacheSoftwareFoundation开发和维护。本文档只对ApacheFlume1.2.0进行介绍说明。1.1.适用范围本手册说明了ApacheFlume的安装、配置、日常维护、及常见问题的处理方法。1.2.专业术语术语解释avro基于二进制的高性能的通讯中间件.提供了数据序列化的功能和RPC服务。agent一个JVM进程，其中运行了FlumeNG组件。event在FlumeNG中传输的单个数据单元。sourceFlumeNG中接收数据源的地方。sink在flumeNG中数据

4、流动的终点。channelsource和sink之间的数据连接导管。1.3.前提和假设阅读本手册前，您需要对linux操作系统和java编程语言的基础知识比较了解。1.4.注意事项不要在手册描述的生产环境进行学习类型的操作，否则将引发生产故障。1.5.参考文档http://flume.apache.org/FlumeUserGuide.htmlhttps://cwiki.apache.org/FLUME/flume-ng.htmlFlume-NG安装部署说明14/141.ApacheFlume介绍ApacheFlume是一个分布式部署的、可靠的、高效率的日志采集系统，其通过一个简单灵活的

5、框架实现了海量日志的采集、聚合和统一存储。1.1.数据流模型FlumeAgent是一个JVM进程，其中包含包括三个组件：Source、Channel、Sink。FlumeSource从外部数据源获得数据(events)如：WebServer，外部数据源使用目前公认格式将数据(events)传送给FlumeSource如：Avro的FlumeSource可以接受AvroClinet传送来的数据。当数据到达FlumeSource后，FlumeSource将数据存储在一个或多个Channel中，Channel存储数据直到数据被Sink所处理。1.2.ApacheFlume支持的其它数据流模型1

6、.2.1.多代理流Flume-NG安装部署说明14/141.1.1.合并流1.1.2.多通路流Flume-NG安装部署说明14/141.部署说明1.1.先决条件1.1.1.操作系统平台GNU/Linux2.6.18-308.el5xen或以上版本1.1.2.所需软件JRE：Java(TM)SERuntimeEnvironment(build1.6.0_32-b05)或以上版本Flume：AapcheFlume1.2.01.2.环境准备1.2.1.账号分配本手册主要说明如何配合HDFS使用，所以请使用为Haoop集群所分配的账号操作Flume，以免对HDFS写入时出现权限问题。如不涉及HD

7、FS的写入，请单独分配账号进行操作。1.2.2.目录分配由于使用Haoop集群的账号，为了方便管理和操作起见请在Haoop用户目录下建立一个独立目录存放Haoop集群用户所使用到的应用。如：/home/hadoop/app/flume。1.2.3.环境变量设置JAVA_HOME，CLASS_PATH1.3.安装步骤1.3.1.下载安装包到ApacheFlume官网下载ApacheFlume1.2.0的安装包，并将其上传至安装主机，存