hadoop大数据平台介绍

《hadoop大数据平台介绍》由会员上传分享，免费在线阅读，更多相关内容在教育资源-天天文库。

1、Hadoop大数据平台介绍目录HDFS介绍Hadoop概述MapReduce介绍如何对大数据进行存储与分析呢？系统瓶颈存储容量读写速度计算效率…Google大数据技术MapReduceBigTableGFS革命性变化1：成本降低，能用PC机，就不用大型机和高端存储小型机大型机磁盘阵列……革命性变化1：成本降低，能用PC机，就不用大型机和高端存储革命性变化1：成本降低，能用PC机，就不用大型机和高端存储革命性变化2：软件容错硬件故障视为常态，通过软件保证可靠性硬件故障软件高可靠性革命性变化3：简化并行分布式计算，无须控制节点同步和数据交换MapRed

2、uce但是，Google只发表了相关的技术论文，没有开放源代码。一个模仿Google大数据技术的开源实现来了。为何取名Hadoop？Hadoop是什么？http://hadoop.apache.org/开源的分布式存储+分布式计算平台Hadoop的组成包括两个核心组成：HDFS：分布式文件系统，存储海量的数据MapReduce：并行处理框架，实现任务分解和调度Hadoop可以用来做什么？搭建大型数据仓库，PB级数据的存储、处理、分析、统计等业务搜索引擎商业智能数据挖掘日志分析Hadoop的优势优势1：高扩展优势2：低成本优势3：成熟的生态圈目录HD

3、FS介绍Hadoop概述MapReduce介绍HDFS基本概念块（Block）NameNodeDataNodeHDFS的文件被分成块进行存储HDFS块的默认大小是64MB块是文件存储处理的逻辑单元HDFS中有两类节点NameNode和DataNodeNameNode是管理节点，存放文件元数据①文件与数据块的映射表②数据块与数据节点的映射表HDFS体系结构机架1机架2NameNodeSecondaryNameNode客户端复制DataNode1DataNode2DataNode3DataNode4DataNode5读取元数据读取数据块元数据更新ACD

4、AEBCEDACBDBEDataNode是HDFS的工作节点，存放数据块机架1机架2NameNodeSecondaryNameNode客户端复制DataNode1DataNode2DataNode3DataNode4DataNode5读取元数据读取数据块元数据更新ACDAEBCEDACBDBEHDFS体系结构HDFS中数据管理与容错数据块副本机架1机架2NameNodeSecondaryNameNode客户端复制DataNode1DataNode2DataNode3DataNode4DataNode5读取元数据读取数据块元数据更新ACDAEBCED

5、ACBDBE每个数据块3个副本，分布在两个机架内的三个节点数据块副本机架1机架2NameNodeSecondaryNameNode客户端复制DataNode1DataNode2DataNode3DataNode4DataNode5读取元数据读取数据块元数据更新ACDAEBCEDACBDBE每个数据块3个副本，分布在两个机架内的三个节点数据块副本机架1机架2NameNodeSecondaryNameNode客户端复制DataNode1DataNode2DataNode3DataNode4DataNode5读取元数据读取数据块元数据更新ACDAEBCE

6、DACBDBE每个数据块3个副本，分布在两个机架内的三个节点心跳检测机架1机架2NameNodeSecondaryNameNode客户端复制DataNode1DataNode2DataNode3DataNode4DataNode5读取元数据心跳消息ACDAEBCEDACBDBEDataNode定期向NameNode发送心跳消息心跳消息心跳消息心跳检测机架1机架2NameNodeSecondaryNameNode客户端复制DataNode1DataNode2DataNode3DataNode4DataNode5读取元数据心跳消息ACDAEBCEDAC

7、BDBEDataNode定期向NameNode发送心跳消息心跳消息心跳消息机架1机架2NameNodeSecondaryNameNode客户端复制DataNode1DataNode2DataNode3DataNode4DataNode5读取元数据读取数据块元数据更新ACDAEBCEDACBDBE二级NameNode二级NameNode定期同步元数据映射文件和修改日志NameNode发生故障时，备胎转正。EditlogFsImageHDFS中文件读写的流程机架1机架2NameNodeSecondaryNameNode客户端DataNode1DataN

8、ode2DataNode3DataNode4DataNode5①文件读取请求ACDAEBCEDACBDBEHDFS读取文件