HDFS应用场景、原理、基本架构及使用方法.pdf

《HDFS应用场景、原理、基本架构及使用方法.pdf》由会员上传分享，免费在线阅读，更多相关内容在行业资料-天天文库。

1、LOGOHDFS2.0应用场景、原理、基本架构及使用方法讲师：董西成议程1.HDFS概述2.HDFS基本架构和原理3.HDFS程序设计4.HDFS2.0新特性5.总结小象科技2让你的数据产生价值HDFS是什么？源自于Google的GFS论文发表于2003年10月HDFS是GFS克隆版HadoopDistributedFileSystem易于扩展的分布式文件系统运行在大量普通廉价机器上，提供容错机制为大量用户提供性能不错的文件存取服务小象科技让你的数据产生价值HDFS优点高容错性数据自动保存多个副本副本丢失后，自动恢复

2、适合批处理移动计算而非数据数据位置暴露给计算框架适合大数据处理GB、TB、甚至PB级数据百万规模以上的文件数量10K+节点规模小象科技让你的数据产生价值HDFS优点流式文件访问一次性写入，多次读取保证数据一致性可构建在廉价机器上通过多副本提高可靠性提供了容错和恢复机制小象科技让你的数据产生价值HDFS缺点低延迟数据访问比如毫秒级低延迟与高吞吐率小文件存取占用NameNode大量内存寻道时间超过读取时间并发写入、文件随机修改一个文件只能有一个写者仅支持append小象科技让你的数据产生价值议程1.H

3、DFS概述2.HDFS基本架构和原理3.HDFS程序设计4.HDFS2.0新特性5.总结小象科技7让你的数据产生价值分布式文件系统的一种实现方式0.5TBfile11.2TBfile2file1:node1,node2,node3file1:node10.5TB1.2TBfile2:node2,node3,node4file2:node3file3:node4,mode5,node6file3:node450GBfile3100GBfile4file4:node5,node6.node7file4:node550GB…….…….100GB

4、file1file2file3file1file1file2file2ServerServerServerServer(10*1TB)(10*1TB)(10*1TB)(10*1TB)file4file3file4小象科技让你的数据产生价值HDFS设计思想file3block1:node1,node2,node364MB64MB64MB……64MB50GBblock2:node2,node3,node4block1block2block3block3:node4,mode5,node6block4:node5,node6.node7…….b

5、lock1block1block2block1block2block2block3ServerServerServerServer(10TB)(10TB)(10TB)(10TB)block3block4block3block4block4小象科技让你的数据产生价值HDFS架构小象科技让你的数据产生价值HDFS架构ActiveNamenodeStandbyNameNode•主Master（只有一个）•NameNode的热备；•管理HDFS的名称空间•定期合并fsimage和•管理数据块映射信息fsedits，推送给NameNode；•配置副

6、本策略•当ActiveNameNode•处理客户端读写请求出现故障时，快速切换为新的ActiveNameNode。小象科技让你的数据产生价值HDFS架构ClientDatanode•文件切分•Slave（有多个）•与NameNode交互，获•存储实际的数据块取文件位置信息；•执行数据块读/写•与DataNode交互，读取或者写入数据；•管理HDFS；•访问HDFS。小象科技让你的数据产生价值HDFS数据块（block）文件被切分成固定大小的数据块默认数据块大小为64MB，可配置若文件大小不到64MB，则单独存成一个block为何数

7、据块如此之大数据传输时间超过寻道时间（高吞吐率）一个文件存储方式按大小被切分成若干个block，存储到不同节点上默认情况下每个block有三个副本小象科技让你的数据产生价值HDFS写流程小象科技让你的数据产生价值HDFS读流程小象科技让你的数据产生价值HDFS典型物理拓扑同一个机架内任意两个机架间带宽为2-10Gbps节点间共享1Gbps带宽每个机架通常有16-64个节点小象科技让你的数据产生价值HDFS副本放置策略问题：一个文件划分成多个block，每个block存多份，如何为每个block选择节点存储这几份数据？Block

8、副本放置策略：RackARackB副本1:同Client的节点上副本2:不同机架中的节点上副本3:与第二个副本同一机架的另一个节点上其他副本:随机挑选小象科技让你的数据产生价值HDFS