Splunk替换方案调研

《Splunk替换方案调研》由会员上传分享，免费在线阅读，更多相关内容在工程资料-天天文库。

1、—、Splunk1、概述Splunk是一个功能强大的日志管理工具，它不仅可以用多种方式来添加日志，生产图形化报表，最厉害的是它的搜索功能・被称为“GoogleforIT”。Splunk有免费和收费版，最主要的差别在于每天的索引容量大小（索引是搜索功能的基础），免费版每天最大为500Mo在使用免费版时，如果在30天之内，有7天的索引数据量超过500M,那么就不可以在搜索了。根据你的需要，你可以选择购买每天的索引容量大小。tGoogle那样搜索企业内部所有产生的日志，这个的威力非常大，现在的企业不缺数扌,缺的是有效挖掘数据的能力。而显然大部分企业没有Google的能

2、力去做搜索于是Splunk提供这样的能力与之相竞争的开源实现有Logstasho2、功能简介首先，Splunk有一个很炫酷的界面■C5「■■二■址■二・；■11.1■3OOOM.1・■・«・(IS/Jen/sell:21:M!»]-CXT/*lMer.aw/«te«oryHtTF/l・*・IM47•M>SCS5IONI&-W5SkfBAOTF>•-n»"l*•/%・•

3、•••»•■12W・ep»：2»«paur^:am-・c*e・:*-zoc»w•■•・=・・・44tl>^3an/Ml>2»7%4i2>]-MT/f3ow<-.ster9/^-o#wCt・•・OCM・7HTT^/1・*■MB1MM•y】〃“•▼<><•2】5<•八•28**y.^SM*F>a・•

4、>V>ui««w>1m«.e・syr^：>・•・•.>•)ceAtm/a・■・•・‘•••.!.«!<・C««rto«elrwrox/l.S.•・】<2»S3714欄位功能表欄位探索開關時間戳A己1

5、結果區域可以看到，Splunk的主要使用方式就是那个搜索框

6、，在里面输入一种叫做SPL的搜索语言，就能获取到你想要的各种信息了。Splunk能在后台对数据进行过滤、聚合、统计，最后得到各种报表、图1SPL是一种向SQL相仿的语言，语法非常的类似，不同的是，SPL搜索的不是关系数据库，而是输入到Splunk系统中所有的日志数据。Splunk是这么干的，1>^首先从硬盘上搜索字段sourcetype（来源类型）为syslog的日志，同时，在日志中含有ERROR这个关键字的。2＞、通过管道符，把上面的搜索结果根据user字段做聚合，取岀其中出现次数最多的前10个。3＞、再通过管道符，去掉百分比字段，最后得出结果。最后，这个搜索

7、干了什么事情呢？它一下子就把日志中出错最多的前十个用户给统计出来了，这样后续程序员就能跟踪这些错误为什么产生，然后着手去解决。splunkOffloadsearchloadtoSplunksearchheadssplunksplunksplunkAutoloadbalancedforwardingtoasmanySplunkindexersasyouneedtoindexterabytes/daySenddatafrom1000sofserversusinganycombinationofSplunkforwarder,,syslog,WMLmessageque

8、ues,orotherremoteprotocols架构图二、ElasticSearch+Logstash+Kibana1、概述ElasticSearch是一个开源的分布式搜索引擎，具备高可靠性，支持非常多的企业级搜索用例，是基于Lucene构建的。支持时间时间索引和全文检索，它对外提供一系列基于JAVA和HTTP的API,用于索引、检索、修改大多数配置。它是基于Foursquare、Soundcloud.GitHub等平台的分享点赞信息，打造了开源搜索分析引擎。目前主要有ELK组合：Elasticsearch（搜索）、Logstash（大数据搜集）、Kiban

9、a（数据流实时分析）三个核心产品。其中Kibana服务能够基于时间段进行对比，从而对大量数据达到较好的透析结果。能够提供简单易用的方式帮助企业从大型数据库中快速提取有效信息进行分析，这种实时搜索、分析的服务将为企业提供及时有效的信息。2、功能简介Kibana+Logstash+Elasticsearch日志查询系统搭建该平台的目的就是为了运维、研发很方便的进行日志的查询。Kibana-个免费的web壳；Logstash集成各种收集日志插件，还是一个比较优秀的正则切割日志工具；Elasticsearch—个开源的搜索引擎框架（支持群集架构方式）。elasticse

10、arch调研详见《ela