《hadoop技术内幕：深入解析YARN架构设计与实现原理》迷你书

《《hadoop技术内幕：深入解析YARN架构设计与实现原理》迷你书》由会员上传分享，免费在线阅读，更多相关内容在学术论文-天天文库。

1、大数据技术丛书Hadoop技术内幕深入解析YARN架构设计与实现原理董西成著图书在版编目（CIP）数据Hadoop技术内幕：深入解析YARN架构设计与实现原理/董西成著.—北京：机械工业出版社，2013.12（大数据技术丛书）ISBN978-7-111-44534-0Ⅰ.H…Ⅱ.董…Ⅲ.数据处理软件Ⅳ.TP274中国版本图书馆CIP数据核字（2013）第252913号版权所有•侵权必究封底无防伪标均为盗版本书法律顾问北京市展达律师事务所本书是“Hadoop技术内幕”系列的第3本书，前面两本分别对Common、HDFS和MapRedu

2、ce进行了深入分析和讲解，赢得了极好的口碑，Hadoop领域几乎人手一册，本书则对YARN展开了深入的探讨，是首部关于YARN的专著。仍然由资深Hadoop技术专家董西成执笔，根据最新的Hadoop2.0版本撰写，权威社区ChinaHadoop鼎力推荐。本书从应用角度系统讲解了YARN的基本库和组件用法、应用程序设计方法、YARN上流行的各种计算框架（MapReduce、Tez、Storm、Spark），以及多个类YARN的开源资源管理系统（Corona和Mesos）；从源代码角度深入分析YARN的设计理念与基本架构、各个组件的实现

3、原理，以及各种计算框架的实现细节。全书共四部分13章：第一部分（第1~2章）主要介绍了如何获取、阅读和调试Hadoop的源代码，以及YARN的设计思想、基本架构和工作流程；第二部分（第3~7章）结合源代码详细剖析和讲解了YARN的第三方开源库、底层通信库、服务库、事件库的基本使用和实现细节，详细讲解了YARN的应用程序设计方法，深入讲解和分析了ResourceManager、资源调度器、NodeManager等组件的实现细节；第三篇（第8~10章）则对离线计算框架MapReduce、DAG计算框架Tez、实时计算框架Storm和内存

4、计算框架Spark进行了详细的讲解；第四部分（第11~13章）首先对FacebookCorona和ApacheMesos进行了深入讲解，然后对YARN的发展趋势进行了展望。附录部分收录了YARN安装指南、YARN配置参数以及HadoopShell命令等非常有用的资料。机械工业出版社（北京市西城区百万庄大街22号邮政编码100037）责任编辑：孙海亮罗词亮印刷2014年1月第1版第1次印刷186mm×240mm•24.75印张标准书号：ISBN978-7-111-44534-0定价：69.00元凡购本书，如有缺页、倒页、脱页，由本社发

5、行部调换客服热线：（010）8837899188361066投稿热线：（010）88379604购书热线：（010）683262948837964968995259读者信箱：hzjsj@hzbook.com前言为什么要写这本书在互联网巨头的带动下，开源软件Hadoop的应用变得越来越广泛，目前互联网、金融、银行、零售等行业均在使用或者尝试使用Hadoop。IDC对未来几年中国的预测中就专门提到了大数据，其认为未来几年，会有越来越多的企业级用户试水大数据平台和应用，而这之中，Hadoop将成为最耀眼的“明星”。尽管Hadoop整个生态

6、系统是开源的，但由于它包含的软件种类过多，且版本升级过快，大部分公司，尤其是一些中小型公司，难以在有限的时间内快速掌握Hadoop蕴含的价值。此外，Hadoop自身版本的多样化也给很多研发人员带来了很大的学习负担，尽管当前市面上已有很多参考书籍，但遗憾的是，能够深入剖析Hadoop内部实现细节的书籍少之又少，而本书则尝试弥补这一缺憾。本书是笔者继《Hadoop技术内幕：深入解析MapReduce架构设计与实现原理》之后的又一本剖析Hadoop内幕的书籍。本书介绍的YARN（YetAnotherResourceNegotiator）系

7、统是Hadoop2.0新增加的一个子项目（与Common、MapReduce和HDFS三个分支并列），它的引入使得分布式计算系统进入平台化时代，即各种计算框架可以运行在一个集群中，由资源管理系统进行统一管理和调度，它们共享整个集群中的资源进而提高资源利用率。本书以Hadoop2.0为基础，从基本概念、程序设计和内部实现等方面深入剖析了HadoopYARN。本书重点分析了YARN的核心实现以及运行在YARN上的计算框IV架，其中，核心实现包括基础库、编程接口、ResourceManager实现、资源调度器实现、NodeManager实

8、现等，而计算框架则包括离线计算框架MapReduce、DAG计算框架Tez、实时计算框架Storm和内存计算框架Spark等。书中不仅详细介绍了YARN各个组件和计算框架的内部实现原理，而且结合源代码进行了深入剖析，使读者可以快速、全