第1讲：初识hadoop

《第1讲：初识hadoop》由会员上传分享，免费在线阅读，更多相关内容在教育资源-天天文库。

1、第1讲Hadoop：Google云计算的开源实现关于本课程的预备知识Linux：懂基本操作Java：能看懂Java程序Hadoop是什么？面向大数据处理擅长离线数据分析分布式文件系统+计算框架Hadoop不是数据库，Hbase才是数据库Hadoop是一个快速进化的生态系统Hadoop会使用在哪些行业？大数据平台知识线路图Hadoop典型职位运维Hadoop程序员（M-R，源代码）架构师数据仓库工程师课程目标部署：Hadoop，Hbase，Hive，Pig数据集成：Sqoop，与Oracle、Mysql等关系型数据库集成，与应用集成，与R等常用数据分析工具集成掌握HDFS原理和基

2、本操作掌握Map-Reduce工作原理，知道怎样把M-R算法用于解决实际场景能书写基本的Map-Reduce程序了解整个Hadoop生态系统的各个子产品，知道在大数据平台架构时应该使用哪些产品具备初步阅读源代码的能力提纲Hadoop简介Hadoop子项目Hadoop架构Hadoop分布式文件系统HDFS分布式数据处理MapReduceHadoop数据管理Hadoop的源起——LuceneDougCutting开创的开源软件，用java书写代码，实现与Google类似的全文搜索功能，它提供了全文检索引擎的架构，包括完整的查询引擎和索引引擎早期发布在个人网站和Source

3、Forge，2001年年底成为apache软件基金会jakarta的一个子项目Lucene的目的是为软件开发人员提供一个简单易用的工具包，以方便的在目标系统中实现全文检索的功能，或者是以此为基础建立起完整的全文检索引擎对于大数量的场景，Lucene面对与Google同样的困难。迫使DougCutting学习和模仿Google解决这些问题的办法一个微缩版：Nutch从lucene到nutch，从nutch到hadoop2003-2004年，Google公开了部分GFS和Mapreduce思想的细节，以此为基础DougCutting等人用了2年业余时间实现了DFS和Mapreduc

4、e机制，使Nutch性能飙升Yahoo招安DougCutting及其项目Hadoop于2005年秋天作为Lucene的子项目Nutch的一部分正式引入Apache基金会。2006年3月份，Map-Reduce和NutchDistributedFileSystem(NDFS)分别被纳入称为Hadoop的项目中2008年4月，Hadoop成为世界上最快的TB级数据排序系统。名字来源于DougCutting儿子的玩具大象Hadoop简介Hadoop——Apache开源组织的一个分布式计算框架，可以在大量廉价的硬件设备组成的集群上运行应用程序，为应用程序提供了一组稳定可靠的接口，旨在构

5、建一个具有高可靠性和良好扩展性的分布式系统Hadoop云计算系统Google云计算系统HadoopHDFS分布式文件系统GoogleGFSHadoopMapReduce分布式处理模型GoogleMapReduceHadoopHBase分布式数据库GoogleBigtableHadoopZooKeeper解决分布式系统的一致性问题GoogleChubbyHadoopPig高级数据流语言GoogleSawzallHadoop云计算系统与Google云计算系统Hadoop优点1、高可靠性HDFS分布式文件系统采用了备份恢复机制及MapReduce中的任务采用了监控机制，存储采用按位存

6、储。2、高扩展性Hadoop是在可用的计算机集群间进行数据的分配的，能扩展到数以千计的节点中。不管是存储还是计算，可扩展性都是其设计根本所在。3、经济性Hadoop可以运行在廉价的PC上。4、高容错性Hadoop采用自动保存数据的多个副本方式，并能自动为失败的任务进行重新分配。（冗余副本机制）5、高效性目前Hadoop达到的高度实现云计算的事实标准开源软件。包含数十个具有强大生命力的子项目。已经能在数千节点上运行，处理数据量和排序时间不断打破世界纪录。Hadoop子项目家族Hadoop简介Hadoop项目组成（1）HadoopCommon是为Hadoop其他子项目提供支

7、持的常用工具，为廉价硬件上搭建云计算环境提供基本的服务。（2）Avro用于数据序列化的系统，提供了丰富的数据结构类型、快速可压缩的二进制数据格式、存储持久性数据的文件集、远程调用RPC的功能和简单的动态语言集成功能。（3）Chukwa开源的用于监控大型分布式系统的数据收集系统。（4）HBase分布式开源数据库。（5）HDFS分布式文件系统（6）Hive数据仓库分析系统（7）MapReduce简化的分布式编程模式。（8）Pig用于并行计算的高级数据流语言和执行框架。（9）Zoo