storm实时数据处理

《storm实时数据处理》由会员上传分享，免费在线阅读，更多相关内容在学术论文-天天文库。

1、大数据技术丛书Storm实时数据处理StormReal-TimeProcessingCookbook（澳）QuintonAnderson　著卢誉声　译图书在版编目（CIP）数据Storm实时数据处理/（澳）安德森（Anderson，Q.）著；卢誉声译.—北京：机械工业出版社，2014.6（大数据技术丛书）书名原文：StormReal-TimeProcessingCookbookISBN978-7-111-46663-5I.S…　II.①安…　②卢…　III.数据处理软件　IV.TP274中国版本图书馆CIP数据核字（2014）第103057号本书版

2、权登记号：图字：01-2013-7570QuintonAnderson:StormReal-TimeProcessingCookbook(ISBN:978-1-78216-442-5).Copyright©2013PacktPublishing.FirstpublishedintheEnglishlanguageunderthetitle“StormReal-TimeProcessingCookbook”.Allrightsreserved.ChinesesimplifiedlanguageeditionpublishedbyChinaMachine

3、Press.Copyright©2014byChinaMachinePress.本书中文简体字版由PacktPublishing授权机械工业出版社独家出版。未经出版者书面许可，不得以任何方式复制或抄袭本书内容。Storm实时数据处理[澳]QuintonAnderson　著出版发行：机械工业出版社（北京市西城区百万庄大街22号　邮政编码：100037）责任编辑：高婧雅责任校对：殷　虹印　　刷：版　　次：2014年6月第1版第1次印刷开　　本：186mm×240mm1/16印　　张：12.75书　　号：ISBN978-7-111-46663-5定　　价

4、：49.00元凡购本书，如有缺页、倒页、脱页，由本社发行部调换客服热线：（010）8837899188361066投稿热线：（010）88379604购书热线：（010）683262948837964968995259读者信箱：hzjsj@hzbook.com版权所有·侵权必究封底无防伪标均为盗版本书法律顾问：北京大成律师事务所　韩光/邹晓东译　者　序随着互联网业务数据规模的急剧增加，人们处理和使用数据的模式已然发生了天翻地覆的变化，传统的技术架构越来越无法适应当今海量数据处理的需求。MapReduce、Hadoop以及一些相关技术的出现使得我们能

5、处理的数据量比以前要多得多，这类技术解决了我们面对海量数据时的措手不及，也在一定程度上缓解了传统技术架构过时的问题。但是，随着业务数据规模的爆炸式增长和对数据实时处理能力的需求越来越高，原本承载着海量数据处理任务的Hadoop在实时计算处理方面越发显得乏力。原因很简单，像Hadoop使用的MapReduce这样的数据处理技术，其设计初衷并不是为了满足实时计算的需求。那么就目前来说，有没有什么行之有效的办法能简单地将Hadoop转换成实时计算系统呢？这个问题的答案可能令人略感失望：没有。Hadoop作为批处理系统，与实时处理系统在需求上存在着本质的区

6、别。要做到实时性，不仅需要及时地推送数据以便处理，还要将数据划分成尽可能小的单位，而HDFS存储推送数据的能力已经远不能满足实时性的需求。另外，Hadoop还存在配置、一致性和可伸缩性方面的问题。那么问题来了，怎么才能构建出一个可靠的实时处理系统呢？答案是Storm。从整体架构上看，Storm和Hadoop非常类似。Storm从架构基础本身就实现了实时计算和数据处理保序的功能，而且从概念上看，Storm秉承了许多Hadoop的概念、术语和操作方法，因此如果你对Hadoop非常熟悉，那么将Storm与Hadoop集成也不是什么难事。通过StormTr

7、ident提供的高级抽象元语，你可以像HadoopCascading简化并行批处理那样简化并行实时数据处理。我本人在实时计算服务器开发方面具有一定的经验，对大数据处理解决方案十分感兴趣，也对相关技术有一些了解，并且有幸承担了本书的翻译工作。本书从多个角度解析了有关Storm的最佳实践，无论是从最基本的应用、多语言特性、完整业务系统的实现，还是最终交付至产品环境，本书都给出了翔实的最佳实践方法。不仅如此，本书还从产品持续交付的角度，分析并实践了集成、测试和交付的所有步骤，让人受益匪浅。相信你会和我一样，通过阅读本书，能对Storm本身及构建成熟实时计

8、算系统的方法有更进一步的了解。翻译本书对我来说其实也是一个渐进学习的过程，书中提及了大量方法和工具的应用，IV让我从零散的