hadoop技术内幕：深入解析mapreduce架构设计与实现原理

《hadoop技术内幕：深入解析mapreduce架构设计与实现原理》由会员上传分享，免费在线阅读，更多相关内容在行业资料-天天文库。

1、Hadoop技术内幕：深入解析MapReduce架构设计与实现原理《Hadoop技术内幕：深入解析MapReduce架构设计与实现原理》基本信息作者：董西成丛书名：大数据技术丛书出版社：机械工业出版社ISBN：9787111422266上架时间：2013-5-8出版日期：2013年5月开本：16开页码：318版次：1-1所属分类：计算机>软件与程序设计>分布式系统设计内容简介计算机书籍　　“hadoop技术内幕”共两册，分别从源代码的角度对“common+hdfs”和“mapreduce的架构设计和实现原理”进行了极为详细的分析。本书由hadoop领域资深的实践者

2、亲自执笔，首先介绍了mapreduce的设计理念和编程模型，然后从源代码的角度深入分析了rpc框架、客户端、jobtracker、tasktracker和task等mapreduce运行时环境的架构设计与实现原理，最后从实际应用的角度深入讲解了hadoop的性能优化、安全机制、多用户作业调度器和下一代mapreduce框架等高级主题和内容。本书适合hadoop的二次开发人员、应用开发工程师、运维工程师阅读。　　《hadoop技术内幕：深入解析mapreduce架构设计与实现原理》共12章，分4个部分（不包括附录）：第一部分（第1～2章），介绍了hadoop源代码的

3、组织结构、获取、编译、调试、阅读环境搭建，以及mapreduce的设计理念和基本架构；第二部分（第3章），着重讲解了mapreduce的编程接口，主要包括旧api和新api两套编程接口，以及hadoop工作流；第三部分（第4～8章）主要分析了mapreduce的运行时环境，包括rpc框架、客户端、jobtracker、tasktracker和task等的内部实现细节和机制剖析；第四部分（第9～12章）深入讲解了hadoop的性能优化、多用户作业调度器、安全机制和下一代mapreduce框架等高级主题。目录《hadoop技术内幕：深入解析mapreduce架构设计与

4、实现原理》前　言第一部分　基础篇第1章　阅读源代码前的准备/21.1　准备源代码学习环境/21.1.1　基础软件下载/21.1.2　如何准备windows环境/31.1.3　如何准备linux环境/61.2　获取hadoop源代码/71.3　搭建hadoop源代码阅读环境/81.3.1　创建hadoop工程/81.3.2　hadoop源代码阅读技巧/91.4　hadoop源代码组织结构/101.5　hadoop初体验/131.5.1　启动hadoop/131.5.2　hadoopshell介绍/151.5.3　hadoopeclipse插件介绍/151.6　编译及

5、调试hadoop源代码/191.6.1　编译hadoop源代码/191.6.2　调试hadoop源代码/20.1.7　小结/23第2章　mapreduce设计理念与基本架构/242.1　hadoop发展史/242.1.1　hadoop产生背景/242.1.2　apachehadoop新版本的特性/252.1.3　hadoop版本变迁/262.2　hadoopmapreduce设计目标/282.3　mapreduce编程模型概述/292.3.1　mapreduce编程模型简介/292.3.2　mapreduce编程实例/312.4　hadoop基本架构/322.4.

6、1　hdfs架构/332.4.2　hadoopmapreduce架构/342.5　hadoopmapreduce作业的生命周期/362.6　小结/38第二部分　mapreduce编程模型篇第3章　mapreduce编程模型/403.1　mapreduce编程模型概述/403.1.1　mapreduce编程接口体系结构/403.1.2　新旧mapreduceapi比较/413.2　mapreduceapi基本概念/423.2.1　序列化/423.2.2　reporter参数/433.2.3　回调机制/433.3　javaapi解析/443.3.1　作业配置与提交/4

7、43.3.2　inputformat接口的设计与实现/483.3.3　outputformat接口的设计与实现/533.3.4　mapper与reducer解析/553.3.5　partitioner接口的设计与实现/593.4　非javaapi解析/613.4.1　hadoopstreaming的实现原理/613.4.2　hadooppipes的实现原理/643.5　hadoop工作流/673.5.1　jobcontrol的实现原理/673.5.2　chainmapper/chainreducer的实现原理/693.5.3　hadoop工作流引擎/713.6　小

8、结/73第