深入浅出Hdoop实战开发.doc

《深入浅出Hdoop实战开发.doc》由会员上传分享，免费在线阅读，更多相关内容在行业资料-天天文库。

1、Hadoop是什么，为什么要学习Hadoop?Hadoop是一个分布式系统基础架构，由Apache基金会开发。用户可以在不了解分布式底层细节的情况下，开发分布式程序。充分利用集群的威力高速运算和存储。Hadoop实现了一个分布式文件系统（HadoopDistributedFileSystem），简称HDFS。HDFS有着高容错性的特点，并且设计用来部署在低廉的（low-cost）硬件上。而且它提供高传输率（highthroughput）来访问应用程序的数据，适合那些有着超大数据集（largedataset）的应用程序。HDFS放宽了（relax）POSIX的要求（r

2、equirements）这样可以流的形式访问（streamingaccess）文件系统中的数据。Hadoop是一个能够对大量数据进行分布式处理的软件框架。但是Hadoop是以一种可靠、高效、可伸缩的方式进行处理的。Hadoop是可靠的，因为它假设计算元素和存储会失败，因此它维护多个工作数据副本，确保能够针对失败的节点重新分布处理。Hadoop是高效的，因为它以并行的方式工作，通过并行处理加快处理速度。Hadoop还是可伸缩的，能够处理PB级数据。此外，Hadoop依赖于社区服务器，因此它的成本比较低，任何人都可以使用。Hadoop带有用Java语言编写的框架，因此运

3、行在Linux生产平台上是非常理想的。本课程的讲解是采用linux平台进行模拟讲解，完全基于真实场景进行模拟现实亮点一:技术点全面,体系完善本课程在兼顾Hadoop课程知识体系完善的前提下，把实际开发中应用最多、最深、最实用的技术抽取出来，通过本课程，你将达到技术的新高点，进入云计算的美好世界。在技术方面你将彻底掌握基本的Hadoop集群；HadoopHDFS原理；HadoopHDFS基本的命令；Namenode的工作机制；HDFS基本配置管理；MapReduce原理；HBase的系统架构；HBase的表结构；HBase如何使用MapReduce；MapReduce

4、高级编程；split的实现详解；Hive入门；Hive结合MapReduce；Hadoop的集群安装等众多知识点。亮点二:基础+实战=应用,兼顾学与练课程每阶段都安排了实战应用项目,以此方便学生能更快的掌握知识点的应用，如在第一阶段,课程结合HDFS应用,讲解了图片服务器的设计、以及如何利用JavaAPI去对HDFS操作、在第二阶段;课程结合HBase实现微博项目的各种功能，使学员可以活学活用。在第三阶段:HBase和MapReduce结合时下了实现话单查询与统计系统，在第四阶段，Hive实战部分，通过实战数据统计系统，使学员在最短的时间内掌握Hive的高级应用。亮

5、点三:讲师丰富的电信集团云平台运作经验讲师robby拥有丰富的电信集团工作经验，目前负责云平台的各方面工作，并拥有多年的企业内部培训经验。讲课内容完全贴近企业需求，绝不纸上谈兵。更多技术亮点参考课程大纲:如果需要这方面的课程可以加群341310133了解，欢迎大家进群学习交流。第1章节:>Hadoop背景>HDFS设计目标>HDFS不适合的场景>HDFS架构详尽分析>MapReduce的基本原理第2章节>Hadoop的版本介绍>安装单机版Hadoop>安装Hadoop集群第3章节>HDFS命令行基本操作>Namenode的工作机制>HDFS基本配置管理第4章节>HD

6、FS应用实战：图片服务器(1)-系统设计>应用的环境搭建php+bootstrap+java>使用HadoopJavaAPI实现向HDFS写入文件第5章节>HDFS应用实战：图片服务器(2)>使用HadoopJavaAPI实现读取HDFS中的文件>使用HadoopJavaAPI实现获取HDFS目录列表>使用HadoopJavaAPI实现删除HDFS中的文件第6章节>MapReduce的基本原理>MapReduce的运行过程>搭建MapReduce的java开发环境>使用MapReduce的java接口实现WordCount第7章节>WordCount运算过程分析>M

7、apReduce的combiner>使用MapReduce实现数据去重>使用MapReduce实现数据排序>使用MapReduce实现数据平均成绩计算第8章节>HBase详细介绍>HBase的系统架构>HBase的表结构，RowKey，列族和时间戳>HBase中的Master，Region以及RegionServer第9章节>使用HBase实现微博应用（1）>用户注册，登陆和注销的设计>搭建环境struts2+jsp+bootstrap+jquery+HBaseJavaAPI>HBase和用户相关的表结构设计>用户注册的实现第10章节>使用HBase实现微博应用