Druid Meetup - OneAPM的Druid应用实践

《Druid Meetup - OneAPM的Druid应用实践》由会员上传分享，免费在线阅读，更多相关内容在行业资料-天天文库。

1、OneAPM的Druid应用实践刘麒贇OneAPM大数据架构师13810556729liuqiyun@oneapm.com声明·本文的一些图片、文字、数据来自Imply.io公司、Druid.io的Druid介绍文档，以及互联网的一些公开资料，在此对相关作者表示感谢！·本文中出现的一些相关于OneAPM公司的数据与技术介绍仅出于演讲者的个人理解，不代表OneAPM公司的官方态度·本次演讲的所有言论仅代表演讲者的个人言论概览·选择Druid的背景·应用实践选择Druid的背景我们的数据特点➢时间序列数据：按一定时

2、间频率收集数据➢性能指标数据：多Dimensions，多Metrics➢数据增长快我们对数据引擎的要求➢大数据量实时处理与历史存储，并且提供同时快速查询历史数据与实时数据的能力➢能对数据进行丰富的OLAP分析：多维度聚合、过滤、groupBy等➢良好的扩展性与高可用性应用实践OneAPM利用Druid存储查询SaaS数据➢目前Druid服务于3个产品的SaaS版本：AI(ApplicationInsight),BI(BrowserInsight),MI(MobileInsight)OneAPMDruid集群概况

3、（by2016Feb.19）➢集群分类：生产集群、测试与监控集群➢集群物理位置：阿里云➢总的机器数量：>50台➢总的DataSource数量：>10个➢每天实时处理event数：>7billion➢每天实时处理数据量:>3TB➢在线Segment的总数据量：>700GB➢查询数量：峰值>8000QPH➢查询平均响应时间：<150ms➢查询响应时间分布：*0-100ms:70.63%*100–200ms:16.87%*200–300ms:5.43%*300–800ms:6.77%*>800ms:0.3%OneAP

4、M金字塔结构的DruidDataSources➢相关重要原理：*查询粒度(queryGranularity)：对DruidSegment的最低查询粒度，指导Druid对数据的聚合以及Segment的生成*Druid能够提供在低查询粒度DataSource的数据基础上做高粒度聚合查询的功能*从存储成本上看：聚合粒度越低时，同样单位时间所需的存储空间越高*影响Query效率的主要相关因素有：-返回的数据量：数据量越大，速度可能越慢-数据源本身的聚合粒度：本身的聚合粒度越接近聚合查询指定的粒度，查询的速度会更高-查询

5、在内存中命中率：若命中率低，则会花大量时间将Segment从磁盘加载到内存OneAPM金字塔结构的DruidDataSources➢相关需求：对于某个KafkaTopic数据源，我们希望对用户提供不同的查询粒度（比如，1分钟、十分钟、1小时），并且为不同的查询粒度提供不同的查询跨度（比如，6小时、十分钟、1小时）。➢Straightforward的方案：总共创建一个DataSource，按最低查询粒度保存数据➢我们选择的方案：OneAPMDruid金字塔结构的DataSources——创建3个不同的DataSo

6、urces，它们都消费同一个kafkatopic，但同时有几个主要不同之处：*消费同一个topic的不同的group*queryGranularity分别为：1min,10min,1hour*Rules设置的数据存留时间不同：6hour,2day,1month*使用不同的RealtimeNodes&HistoryNodesOneAPM金字塔结构的DruidDataSources1DataSource方案3DataSource金字塔方案HistoricalNode上的无在一些重合的时间段有数据冗数据冗余余Real

7、time的数量少，1套Realtime多，3套RealtimeNodesNodes即可1分钟粒度查询支持时间跨度长，1个月短，6小时总的数据量大小大小。可以达到1/6左右空间查询速度(同样集群规模)一般(所需内存更多，较快(所需内存更少，命中率命中率较低)较高)OneAPMDruid集群监控方案➢DruidMetrics：Druid通过metrics记录集群运行时产生的各个主要指标。Druid可以发送metrics到log，或者通过http往外发送➢OneAPMDruid集群监控方案一：通过http将broke

8、r等service产生的metrics发送到一个httpproxy(druid-metrics-to-kafka)，然后该proxy再将metricspush到对应的Kafkatopic。最后，在用作监控的Druid集群里创建一个独立的DataSource，让其消费该Kafkatopic上的数据，并保存到Druid集群中。此时，便可以通过查询该DataSource的内容得到具体的met