《云计算之HDFS》PPT课件

《《云计算之HDFS》PPT课件》由会员上传分享，免费在线阅读，更多相关内容在教育资源-天天文库。

1、1主要内容Hadoop项目简介HDFS体系结构HDFS关键运行机制HadoopVS.Google（分布式文件系统）HadoopAPIHadoop环境搭建2Hadoop项目简介吃水不忘挖井人DougCutting简介：Lucene（开源的全文检索包人）、Nutch（开源搜索引擎）、hadoop创始人。曾经在是雅虎搜索工程师，后面加入Cloudera,发展hadoop的企业级应用。一位盗火者，把高深的搜索引擎技术带给普通大众。3Hadoop项目简介Apache的解决方案Google云计算MapReduceBigT

2、ableGFSChubbyGFS-->HDFSMapReduce-->HadoopBigTable-->HBase4HDFS为了做到可靠性（reliability）创建了多份数据块（datablocks）的复制（replicas），并将它们放置在服务器群的计算节点中（computenodes），MapReduce就可以在它们所在的节点上处理这些数据了。Hadoop项目简介5HDFS体系结构NameNodeMasterDataNodeChunksever6一个名字节点和多个数据节点数据复制（冗余机制）--

3、存放的位置（机架感知策略）故障检测--数据节点心跳包（检测是否宕机）块报告（安全模式下检测）数据完整性检测（校验和比较）--名字节点（日志文件，镜像文件）空间回收机制HDFS关键运行机制--保障可靠性的措施7HDFS关键运行机制--写文件流程客户端缓存流水线复制并发写控制流程：1.客户端把数据缓存到本地临时文件夹2.临时文件夹数据超过64M，客户端联系NameNode，NameNode分配DataNode，DataNode依照客户端的位置被排列成一个有着最近物理距离和最小的序列3.与序列的第一个数据服务器建立

4、Socket连接，发送请求头，然后等待回应，依次下传，客户端得到回包，流水线建立成功，4.正式发送数据，以4K为大小传送8HDFS关键运行机制--读文件流程客户端联系NameNode,得到所有数据块信息，以及数据块对应的所有数据服务器的位置信息尝试从某个数据块对应的一组数据服务器中选出一个，进行连接（选取算法未加入相对位置的考虑）数据被一个包一个包发送回客户端，等到整个数据块的数据都被读取完了，就会断开此链接，尝试连接下一个数据块对应的数据服务器，整个流程，依次如此反复，直到所有想读的都读取完了为止9HDFS

5、VS.GFS总体架构的比较数据结构化管理组件：Hbase→BigTable并行计算模型：MapReduce→MapReduce分布式文件系统：HDFS→GFSHadoop缺少分布式锁服务ChubbyHBaseMapReduceHDFSBigTableMapReduceGFSHadoop云计算应用Google云计算应用10HDFSVS.GFSHDFS与GFS比较中心服务器模式的差异GFS：多台物理服务器，选择一台对外服务，损坏时可选择另外一台提供服务HDFS：单一中心服务器模式，存在单点故障原因：Hadoop缺

6、少分布式锁服务11HDFSVS.GFSHDFS与GFS比较子服务器管理模式差异GFS：ChunkServer在Chubby中获取独占锁表示其生存状态，Master通过轮询这些独占锁获知ChunkServer的生存状态HDFS：DataNode通过心跳的方式告知NameNode其生存状态GFS中，Master损坏时，替补服务器可以快速获知ChunkServer的状态HDFS中，NameNode损坏后，NameNode恢复时需要花费一段时间获知DataNode的状态在添加数据存储节点时，GFS的伸缩性较HDFS要

7、好原因：Hadoop缺乏分布式锁服务12HDFSVS.GFSHDFS与GFS比较HDFS具备安全模式获知数据块副本状态，若副本不足，则拷贝副本至安全数目（如3个）GFS不具备安全模式副本损坏处理：API读取副本失败时，Master负责发起拷贝任务13HDFSVS.GFSHDFS与GFS比较HDFS具备空间回收机制文件删除时，仅删除目录结构实际数据的删除在等待一段时间后实施优点：便于恢复文件14HDFSAPI简单的HDFSAPI：hdfs.copyFromLocalFile(pathsrcPath,pathds

8、tPath)上传本地文件到HDFS的指定位置上eg:1.Configurationconfig=newConfiguration();2.FileSystemhdfs=FileSystem.get(config);3.PathsrcPath=newPath(srcFile);4.PathdstPath=newPath(dstFile);5.hdfs.copyFromLocalFile(src