云计算基础第10章new

《云计算基础第10章new》由会员上传分享，免费在线阅读，更多相关内容在教育资源-天天文库。

1、Hadoop：Google云计算的开源实现提纲Hadoop简介Hadoop分布式文件系统HDFS分布式数据处理MapReduce分布式结构化数据表HBaseHadoop安装HDFS使用HBase安装使用MapReduce编程Hadoop的历史1.hadoop的创始人叫DougCutting2.hadoop名字的意义Hadoop简介Hadoop简介Hadoop——Apache开源组织的一个分布式计算框架，可以在大量廉价的硬件设备组成的集群上运行应用程序，为应用程序提供了一组稳定可靠的接口，旨在构建一个具有高可靠性和良好扩

2、展性的分布式系统Hadoop云计算系统Google云计算系统HadoopHDFSGoogleGFSHadoopMapReduceGoogleMapReduceHadoopHBaseGoogleBigtableHadoopZooKeeperGoogleChubbyHadoopPigGoogleSawzallHadoop云计算系统与Google云计算系统Hadoop简介开源项目Lucene：Java开发的开源高性能全文检索工具包开源项目Nutch：第一个开源的Web搜索引擎HadoopHadoop简介Hadoop项目组成（1）Hadoo

3、pCommon（2）Avro（3）Chukwa（4）HBase（5）HDFS（6）Hive（7）MapReduce（8）Pig（9）ZooKeeper项目组成Nutch：网页搜索软件，不只是爬虫Avro：数据序列化系统Chukwa：用于管理大规模分布式集群的数据收集系统ZooKeeper：用于分布式应用的高性能协同服务Hbase：类似于BigTable的，key-value数据库系统PIG：并行计算的一种高级语言Hive：数据仓库Mahout：分布式机器学习和数据挖掘的LibHama：基于BSP的超大规模科学计算框架8

4、2.Hadoop云计算架构Hadoop的核心子项目:提供了一个分布式文件系统(HDFS)和支持MapReduce的分布式计算HBase:建立在Hadoop内核之上提供可靠的可扩展的分布式数据库Zookeeper:一个高效的可扩展的协调系统。分布式应用可以使用ZooKeeper来存储和协调关键共享状态。Hive：是搭建在Hadoop之上的数据仓库基础并提供了一些工具使得对Hadoop文件中海量数据的归纳、特殊查找和分析更为容易PIG:建立于Hadoop内核之上是一种支持并行计算运行框架的高级数据流语言Hadoop云计算MapReduce

5、HBaseHDFSZookeeperHIVEPIGHadoop的用户AmazonAdobeAdknowledge：behavioraltargeting,clickstreamanalyticsAlibabaBaidu:搜索日志分析；每周处理3000TB数据BixoLabs：webminingDatagraph：处理RDF数据，存储、索引EBay：532nodes，搜索优化和研究ETHZurichSystemsGroup：教学《MassivelyParallelDataAnalysiswithMapReduce》Facebook：11

6、00nodes,12PB;300nodes,3PBFOX：3个Cluster用于日志分析、数据挖掘、机器学习Freestylers：构建基于图片的推荐系统GoogleGruter.Corp：索引、Link分析、数据挖掘Hulu：HbasehostingIBMKrugle：源代码搜索Last.fm：图表计算、A/B测试，userprofile分析，cookie级的报表处理LinebergerComprehensiveCancerCenter：癌症相关的研究，使用SeqWareLinkedIn：这人你可能认识TheNewYorkTimes

7、PARC：分析Wikipedia里的冲突Powerset/MicrosoftPressflip：个性化搜索，训练SVM模型Yahoo！：4000nodes(2*4cpuboxesw4*1TBdisk&16GBRAM)Moreonhttp://wiki.apache.org/hadoop/PoweredByHadoop优点（1）可扩展（存储可扩展，计算可扩展）（2）经济（廉价PC机）（3）可靠（备份恢复机制，任务监控机制）（4）高效（高效数据交互实现及MapReduce结合LocalData处理的模式，为高效处理海量的信息做了基

8、础准备）Hadoop生态系统提纲Hadoop简介Hadoop分布式文件系统HDFS分布式数据处理MapReduce分布式结构化数据表HBaseHadoop安装HDFS使用HBase安装使用MapReduc