欢迎来到天天文库
浏览记录
ID:35200110
大小:244.12 KB
页数:14页
时间:2019-03-21
《flume安装部署手册new》由会员上传分享,免费在线阅读,更多相关内容在应用文档-天天文库。
1、Flume-NG安装部署说明保密文件不得外传Flume-NG安装部署说明14/14目录1.前言51.1.适用范围51.2.专业术语51.3.前提和假设51.4.注意事项51.5.参考文档52.ApacheFlume介绍62.1.数据流模型62.2.ApacheFlume支持的其它数据流模型62.2.1.多代理流6Flume-NG安装部署说明14/142.2.2.合并流72.2.3.多通路流73.部署说明83.1.先决条件83.1.1.操作系统平台83.1.2.所需软件83.2.环境准备83.2.1.账号分配83.2.2.目录分配83.2.3.环境变量设置83.3.安装步骤83.3.1.下
2、载安装包83.3.2.解压安装包83.3.3.配置说明94.日常维护104.1.启动ApacheFlumeAgent104.2.启动ApacheFlumeClient114.3.停止ApacheFlume134.4.ApacheFlume命令135.其它14Flume-NG安装部署说明14/14Flume-NG安装部署说明14/141.前言Flume开始由Cloudera公司开发,2011年Cloudera公司将Flume贡献给开源社区,现在ApacheFlume是ApacheSoftwareFoundation的一个顶级项目。目前Flume有两个可用的Release版本:0.9x和1.
3、x。0.9x版本称为Flume-OG由Cloudera公司开发和维护,1.x版本称为Flume-NG由ApacheSoftwareFoundation开发和维护。本文档只对ApacheFlume1.2.0进行介绍说明。1.1.适用范围本手册说明了ApacheFlume的安装、配置、日常维护、及常见问题的处理方法。1.2.专业术语术语解释avro基于二进制的高性能的通讯中间件.提供了数据序列化的功能和RPC服务。agent一个JVM进程,其中运行了FlumeNG组件。event在FlumeNG中传输的单个数据单元。sourceFlumeNG中接收数据源的地方。sink在flumeNG中数据
4、流动的终点。channelsource和sink之间的数据连接导管。1.3.前提和假设阅读本手册前,您需要对linux操作系统和java编程语言的基础知识比较了解。1.4.注意事项不要在手册描述的生产环境进行学习类型的操作,否则将引发生产故障。1.5.参考文档http://flume.apache.org/FlumeUserGuide.htmlhttps://cwiki.apache.org/FLUME/flume-ng.htmlFlume-NG安装部署说明14/141.ApacheFlume介绍ApacheFlume是一个分布式部署的、可靠的、高效率的日志采集系统,其通过一个简单灵活的
5、框架实现了海量日志的采集、聚合和统一存储。1.1.数据流模型FlumeAgent是一个JVM进程,其中包含包括三个组件:Source、Channel、Sink。FlumeSource从外部数据源获得数据(events)如:WebServer,外部数据源使用目前公认格式将数据(events)传送给FlumeSource如:Avro的FlumeSource可以接受AvroClinet传送来的数据。当数据到达FlumeSource后,FlumeSource将数据存储在一个或多个Channel中,Channel存储数据直到数据被Sink所处理。1.2.ApacheFlume支持的其它数据流模型1
6、.2.1.多代理流Flume-NG安装部署说明14/141.1.1.合并流1.1.2.多通路流Flume-NG安装部署说明14/141.部署说明1.1.先决条件1.1.1.操作系统平台GNU/Linux2.6.18-308.el5xen或以上版本1.1.2.所需软件JRE:Java(TM)SERuntimeEnvironment(build1.6.0_32-b05)或以上版本Flume:AapcheFlume1.2.01.2.环境准备1.2.1.账号分配本手册主要说明如何配合HDFS使用,所以请使用为Haoop集群所分配的账号操作Flume,以免对HDFS写入时出现权限问题。如不涉及HD
7、FS的写入,请单独分配账号进行操作。1.2.2.目录分配由于使用Haoop集群的账号,为了方便管理和操作起见请在Haoop用户目录下建立一个独立目录存放Haoop集群用户所使用到的应用。如:/home/hadoop/app/flume。1.2.3.环境变量设置JAVA_HOME,CLASS_PATH1.3.安装步骤1.3.1.下载安装包到ApacheFlume官网下载ApacheFlume1.2.0的安装包,并将其上传至安装主机,存
此文档下载收益归作者所有