storm实时流处理框架ppt演讲

《storm实时流处理框架ppt演讲》由会员上传分享，免费在线阅读，更多相关内容在应用文档-天天文库。

1、为了适应公司新战略的发展，保障停车场安保新项目的正常、顺利开展，特制定安保从业人员的业务技能及个人素质的培训计划storm实时流处理框架ppt演讲　　流处理框架Storm简介　　EMC中国研究院向东　　提起BigData，人们往往会提起大数据的4个V:Volume,Velocity,Variety以及Value。这四个V从各个侧面说明了大数据并不是新瓶装旧酒:面对数据产生来源，产生方式，处理方式等等一系列质变，原来适用的数据挖掘/BI工具已经不再满足实际需要，人们迫切需要新的计算模式，基础架构以及开箱即用的工具集来

2、使自己的业务运行的更好。这也是当前大数据如此火热的原因。　　流处理或者复杂事件处理也不是一个新概念，对此相关的研究和相应的产品已经有很多了，其中最有名的应该算开源CEP引擎Esper。相对于原有的产品，现在的流处理新贵，比如来自Yahoo！的S4和来自Twitter的Storm，到底有哪些独到的长处，让人们趋之若鹜？本文试图在Storm的基础上对此解读。　　Storm简介目的-通过该培训员工可对保安行业有初步了解，并感受到安保行业的发展的巨大潜力，可提升其的专业水平，并确保其在这个行业的安全感。为了适应公司新战略的

3、发展，保障停车场安保新项目的正常、顺利开展，特制定安保从业人员的业务技能及个人素质的培训计划　　任何关注大数据的有心人想必对Storm都不会陌生：Storm是由来自BackType的NathanMarz开发，后来BackType被Twitter收购并开源，随之也闻名天下。Storm核心代码是由Clojure这门极具潜力的函数式编程语言开发的，这也使得Storm格外引人注目。　　Storm可以用于3种不同场景：事件流，持续计算以及分布式RPC。针对这些场景，Storm设计了自己独特的计算模型:　　图一：StormTo

4、pology　　1.如图一所示，Storm计算模型以Topology为单位。一个Topology是由一系列Spout和Bolt构成的图。Eventsstream会在构成Topology的Spout和Bolt之间流动。Spout负责产生event，而bolt负责处理对接收到的event进行各种处理，得出需要的计算结果。Bolt可以级联，也可以外发送event。Storm提供了一个简单的教程来示例Spout/Bolt都做了些什么，　　是如何被　　组装成一个Topology的，感兴趣的同学可以深入了解。@EMC中国研究院

5、版权所有　　2.Streamgrouping控制着在event在Topology中如何流动。如图二所示的Topology中，Spout有2个实例，BoltA，B，目的-通过该培训员工可对保安行业有初步了解，并感受到安保行业的发展的巨大潜力，可提升其的专业水平，并确保其在这个行业的安全感。为了适应公司新战略的发展，保障停车场安保新项目的正常、顺利开展，特制定安保从业人员的业务技能及个人素质的培训计划　　C分别有4，3，2个实例。BoltA的实例之一向外送event时，Stormruntime将按照用户创建Topolo

6、gy时指定的StreamGrouping策略把event发送到BoltB特定的实例。Storm提供了多种StreamGrouping的实现，比如ShuffleGrouping，ShuffleGrouping可以保证event在Boltinstance间随机分布，每个instance都收到相同数量的event。　　图二：StormStreamgrouping　　3.确保event的处理。Storm实现了一整套机制，确保消息会被完整处理　　。Storm还提供了事务Topology，能够确保消息能而且仅被处理一次。　　网

7、络上Storm相关的中英文文档已相当丰富，感兴趣的同志可以继续深入研究。　　为什么　　回到文章一开始的话题，Storm这瓶新酒，除了Twitter带来的巨大光环效应，还有那些独到的地方？实际上，Nathan自己写了一篇文章Rationale来阐明他的观点。综合下来，有以下几点：目的-通过该培训员工可对保安行业有初步了解，并感受到安保行业的发展的巨大潜力，可提升其的专业水平，并确保其在这个行业的安全感。为了适应公司新战略的发展，保障停车场安保新项目的正常、顺利开展，特制定安保从业人员的业务技能及个人素质的培训计划　　

8、1.生逢其时。MapReduce计算模型打开了分布式计算的另一扇大门，极大的降低了实现分布式计算的门槛。有了MapReduce架构的支持，开发者只需要把注意力集中在如何使用MapReduce的语义来解决具体的业务逻辑，而不用头疼诸如容错，可扩展性，可靠性等一系列硬骨头。一时间，人们拿着MapReduce这把榔头去敲各种各样的钉子，自然而然的也试图用MapRe