《hadoop技术内幕：深入解析mapreduce架构设计i

《《hadoop技术内幕：深入解析mapreduce架构设计i》由会员上传分享，免费在线阅读，更多相关内容在学术论文-天天文库。

1、Hadoop技术内幕：深入解析MapReduce架构设计与实现原理董西成著图书在版编目（CIP）数据Hadoop技术内幕：深入解析MapReduce架构设计与实现原理/董西成著.—北京：机械工业出版社，2013.5（大数据技术丛书）ISBN978-7-111-42226-6Ⅰ.H…Ⅱ.董…Ⅲ.数据处理软件Ⅳ.TP274中国版本图书馆CIP数据核字（2013）第077161号版权所有•侵权必究封底无防伪标均为盗版本书法律顾问北京市展达律师事务所“Hadoop技术内幕”共两册，分别从源代码的角度对“Commo

2、n+HDFS”和“MapReduce的架构设计和实现原理”进行了极为详细的分析。本书由Hadoop领域资深的实践者亲自执笔，首先介绍了MapReduce的设计理念和编程模型，然后从源代码的角度深入分析了RPC框架、客户端、JobTracker、TaskTracker和Task等MapReduce运行时环境的架构设计与实现原理，最后从实际应用的角度深入讲解了Hadoop的性能优化、安全机制、多用户作业调度器和下一代MapReduce框架等高级主题和内容。本书适合Hadoop的二次开发人员、应用开发工程师、运

3、维工程师阅读。本书共12章，分4个部分（不包括附录）：第一部分（第1～2章），介绍了Hadoop源代码的组织结构、获取、编译、调试、阅读环境搭建，以及MapReduce的设计理念和基本架构；第二部分（第3章），着重讲解了MapReduce的编程接口，主要包括旧API和新API两套编程接口，以及Hadoop工作流；第三部分（第4～8章）主要分析了MapReduce的运行时环境，包括RPC框架、客户端、JobTracker、TaskTracker和Task等的内部实现细节和机制剖析；第四部分（第9～12章）深

4、入讲解了Hadoop的性能优化、多用户作业调度器、安全机制和下一代MapReduce框架等高级主题。机械工业出版社（北京市西城区百万庄大街22号邮政编码100037）责任编辑：孙海亮印刷2013年5月第1版第1次印刷186mm×240mm•20.75印张标准书号：ISBN978-7-111-42226-6定价：69.00元凡购本书，如有缺页、倒页、脱页，由本社发行部调换客服热线：（010）8837899188361066投稿热线：（010）88379604购书热线：（010）683262948837964

5、968995259读者信箱：hzjsj@hzbook.com前言为什么要写这本书突然之间，大数据一下子就“火”了，开源软件Hadoop也因此水涨船高。得益于一些国际领先厂商，尤其是FaceBook、Yahoo！以及阿里巴巴等互联网巨头的现身说法，Hadoop被看成大数据分析的“神器”。IDC在对中国未来几年的预测中就专门提到了大数据，其认为未来几年，会有越来越多的企业级用户试水大数据平台和应用，而这之中，Hadoop将成为最耀眼的“明星”。尽管Hadoop整个生态系统是开源的，但是，由于它包含的软件种类过

6、多，且版本升级过快，大部分公司，尤其是一些中小型公司，难以在有限的时间内快速掌握Hadoop蕴含的价值。此外，Hadoop自身版本的多样化也给很多研发人员带来了很大的学习负担。尽管当前市面上已有很多参考书籍，比如《Hadoop:TheDefinitiveGuide》、《HadoopinAction》、《ProHadoop》、《HadoopOperations》等，但是，至今还没有一本书能够深入地剖析Hadoop内部的实现细节，比如JobTracker实现、作业调度器实现等。也正因如此，很多Hadoop初学

7、者和研发人员只能参考网络上一些零星的源代码分析的文章，自己一点一点地阅读源代码，缓慢地学习Hadoop。而本书正是为了解决以上各种问题而编写的，它是国内第一本深入剖析Hadoop内部实现细节的书籍。本书以Hadoop1.0为基础，深入剖析了HadoopMapReduce中各个组件的实现细节，包括RPC框架、JobTracker实现、TaskTracker实现、Task实现和作业调度器实现等。书中不仅详细介绍了MapReduce各个组件的内部实现原理，而且结合源代码进行了深入的剖IV析，使读者可以快速全面地

8、掌握HadoopMapReduce设计原理和实现细节。读者对象（1）Hadoop二次开发人员Hadoop由于在扩展性、容错性和稳定性等方面的诸多优点，已被越来越多的公司采用。而为了减少开发成本，大部分公司在Hadoop基础上进行了二次开发，以打造属于公司内部的Hadoop平台。对于Hadoop二次开发人员来说，深入而又全面地了解Hadoop的设计原理与实现细节是修改Hadoop内核的前提，而本书可帮助这部分读者快速而又全面地了