实时计算,流数据处理系统简介与简单分析

《实时计算,流数据处理系统简介与简单分析》由会员上传分享，免费在线阅读，更多相关内容在工程资料-天天文库。

1、实时计算，流数据处理系统简介与简单分析发表于2014-06-1214:19

2、4350次阅读

3、來源CSDN博客

4、8条评论

5、作者va_key大数据实时计算流计算摘要：实时计算一般都是针对海S:数据进行的，一般要求为秒级。实时计算主要分为两块:数据的实时入库、数据的实时计算。今天这篇文章详细介绍了实时计算，流数据处理系统简介与简单分析。编者按:互联网领域的实时计算一般都是针对海量数据进行的，除了像非实时计算的需求（如计算结果准确）以外，实时计算最重要的一个需求是能够实时响应计算结果，一般要求为秒级。实时计算的今天，业界

6、都没有一个准确的定义，什么叫实时计算？什么不是？今天这篇文章详细介绍了实时计算，流数据处理系统简介与简单分析。以下为作者原文：一.实时计算的概念实时计算一般都是针对海量数据进行的，一般要求为秒级。实时计算主要分为两块:数据的实时入库、数据的实时计算。主要应用的场景：1）数据源是实时的不间断的，要求用户的响应时间也是实时的（比如对于大型网站的流式数据：网站的访问PV/UV、用户访问了什么内容、搜索了什么内容等，实时的数据计算和分析可以动态实时地刷新用户访问数据，展示网站实时流ft的变化惜况，分析每天各小时的流量和用

7、户分布怡况）2）数据量大且无法或没必要预算，但要求对用户的响应时间是实时的。比如说：昨天来A每个省份不同性别的访问量分布，昨天来自每个省份不同性别不同年龄不同职业不同名族的访问量分布。二.实时计算的相关技术主要分为三个阶段（大多是日志流）：数据的产生与收集阶段、传输与分析处理阶段、存储对对外提供服务阶段下面具体针对上面三个阶段详细介绍下1）数据实时采集：耑求：功能上保证可以完整的收集到所有口志数据，为实时应用提供实时数据；响应时间上要保证实时性、低延迟在1秒左右；配置简单，部署容易；系统稳定可靠等。目前的产品:F

8、acebook的Scribe、Linkedln的Kafka、Cloudera的Flume,淘宝开源的TimeTunnel、Hadoop的Chukwa等，均可以满足毎秒数百MB的日志数据采集和传输耑求。他们都是开源项目。2）数据实时计算在流数据不断变化的运动过程中实时地进行分析，捕捉到可能对用户有用的信息，并把结果发送出去。一ft财滅沌入♦灶＜»铋点—妁W浼汝出一＞处岬钴点实时计算目前的主流产品:1.Yahoo的S4:S4是一个通用的、分布式的、可扩展的、分区容错的、可插拔的流式系统，Yahoo开发S4系统，主要是

9、为了解决：搜索广告的展现、处理用户的点击反馈。2.Twitter的Storm:是一个分布式的、容错的实时计算系统。可用于处理消息和更新数据库（流处理），在数据流上进行持续查询，并以流的形式返回结果到客户端（持续计算），并行化一个类似实时查询的热点查询（分布式的RPC）。3.Facebook的Puma:Facebook使用puma和HBase相结合来处理实时数掘，另外Facebook发表一篇利用HBase/Hadoop进行实时数据处理的论文（ApacheHadoopGoesRealtimeatFacebook）,通

10、过一些实时性改造，让批处理计算平台也具备实时计算的能力。关于这三个产品的具体介绍架构分析：http://www.kuqin.com/system-analysis/20120111/317322.html卜面是S4和Storm的详细对比ltems^ro)cctsvahoo9s4TwCterStormAp«cbekense2.0CdpM^ibfecUccrac1.0RM*Ooxxt.l«va«Oo)urt

11、中讎11繫鬌纒憊璺予麝摹W/'Strwm呼刊•Riporaix事iw:ClenxntSt

12、fiS托级蠼count.)oinlQa99re9at®好务観zroaHWAU.CMntAdipter/Orwv.艫三K軎户?伽随人威詹tXSpOutRf产！Strwm.nXVLMAR.戈科IatlRpBjenA»ei!«霣打霉

13、

14、史趲rw窗＜wa）uaCventType♦KeytdMtnbvCe4rflcount.)CMn(0«99re9Me^.畫ff舄Strum0roupv)9t:Shurfte.ncMtAI.Gtobre(tS!TJlINM^B

15、ce不文携T»niiM»卿子VOUB.不芎樹VilALZSworkefiOnfcttg.stonn^9(wortrrlQtMld^rH*不XMrxwTSOIst»liOM備播W♦XHUMH轚角文ehttp://docs.s4Jo/hltim:Z/()*hub.cofvVnMherww2/tt(xw^wta^Mtp:/^curr«nofringsmopxo