用kibana和logstash快速搭建实时日志查询收集与分析系统

《用kibana和logstash快速搭建实时日志查询收集与分析系统》由会员上传分享，免费在线阅读，更多相关内容在工程资料-天天文库。

1、Q]Columnsvert>responsefocwardedforagent^message(^source(^source一host(^sourcejxath职呼逆typeZONEbylescttycodeclientipmicrosecondsphpmomoryprogramrequestro»esource^hottlimetimestampvhost0Analysis(^message(^source*<^sourc*_host▼(SHourc.jxath,stags’(^timestamp▼Ti

2、meverbresponuiforwardedfor•gent的061617:31GET2007118222696Mozfla5.0(WindowsNT6.1)AnMeWeeKt537.1(KHTMl.ticOecKo)Ctvom^210.110089Safar>537109081617:31GET2001)8789S181Mo2A»5.0(UacrtothMeiMacOSX1074)AopleWebK<53629(KMTIUUfceGecko)VcriionSOSatar>5M250MH*17:31OFT

3、2002172122241«2ptboiCI(•NipwwwpOMrchcocntothimft的06161731OET200«♦24971.1MozAa5.0(competMeOoogMot?1.♦Mp.www0009c.comtetltmAoaoe16:17:31GET2006S235245163-0908161731OET20068801M2O5Moz鼬5.0(compileMSE90;WindomWT61;W0W64Tr«Jc«50)0»

4、ccnpMtob.Ooogleto<21;♦Mlpwwwooove.conVbotNmh的061617:31OCT301131J19224Sgurcffwler(Emorpme.T2KTU7TN8XKYWKJempQcaAechedu)的061617:31OET2006«235^45163•用Kibana和logstash快速搭建实时日志查询、收集与分析系统Logstash是一个完全开源的工具，他可以对你的日志进行收集、分析，并将其存储供以后使用（如，搜索），您可以使用它。说到搜索，logstash带有一个

5、web界而，搜索和展示所有H志。kibana也是一个开源和免费的工具，他可以帮助您汇总、分析和搜索重要数据口志并提供友好的web界而。他可以为Logstash和ElasticSearch提供的日志分析的Web界而说到这里，我们看看kibana和logstash到底能为我们做些什么呢?下面是kibana的界而Last15mrolewetANONOTOuctaurlANDexstslorwardedlorSearchReset97.924no4rMhbexporlOstream•2012-0906T160232

6、t02O12X»<»T1617:321500^iiiTiHiillllllllllllllllNiro4併ie：ioooir.u^oi$ie«o•/S91MMM⑽OTO50*简单来讲他具体的工作流程就是logstashagent监控并过滤闩志，将过滤后的円志内容发给redis（这里的redis只处理队列不做存储），logstashindex将H志收集在一起交给全文搜索服务ElasticSearch可以用ElasticSearch进行A定义搜索通过Kibana来结合自定义搜索进行页面展示，下图是Kibana官

7、网上的流程图LogsareshippedviaUDPsyslogsyslog-ng1ArchivesSyslogArchivesthenqueueslogsforprocessingElasticSearchBackendforfulltextsearchofenterprisewidelogdataSystemvitalsaregeneratedbyGraphital，very10secondsandshippedlirectlytographitetobecharted:GraphHe•雜sApps好了

8、让我们一步步的把这套环境搭建起来吧，先看看都需要安装什么软件包ruby运行Kibana必须，rubygcms安装ruby扩展必须bundler功能矣似于yumJDK运行java程序必须redis用来处理H志队列logstash收集、过滤日志ElasticSearch全文搜索服务（1ogstash集成丫一个）kibana页而展示这里有三台服务器192.168.233.128logstashindex,Elastic