资源描述：
《Hadoop实战-中高级部分之HDFS原理架构和副本机制》由会员上传分享，免费在线阅读，更多相关内容在工程资料-天天文库。
1、Hadoop实战•中高级部分之HDFS原理架构和副本机制HadoopRestFulHadoopHDFS原理1HadoopHDFS原理2Hadoop作业调优参数调整及原理HadoopHAHadoopMapReduce窩级编程HadoopIOHadoopMapReduceT.作原理Hadoop管理Hadoop集群安装HadoopRPCHDFS架构•NameNode•DataNode•SeneondaryNameNode数据存储细节BlockReplicationNamenode(Filename,numReplicas,block-ids,.
2、..)/users/sameerp/data/part-O,r:2,{1,3},.../users/sameerp/data/part-1,r:3,{2,4,5},...<丿DatanodesNameNode目录结构Namenode的目录结构：${dfs.name.dir}/current/VERSION/edits/fsimage/fstimedfs.name.dir是hdfs-site.xml里配置的若干个目录组成的列表。NameNodeNamenode上保存着HDFS的名字空间。对于任何对文件系统元数据产生修改的操作，Namenod
3、e都会使用一种称为EditLog的事务口志记录下來。例如，在HDFS中创建一个文件，Namenode就会在Editlog屮插入一条记录來农示；同样地，修改文件的副本系数也将往Editlog插入一条记录。Namenode在本地操作系统的文件系统中存储这个Editlog。整个文件系统的名字空间，包括数据块到文件的映射、文件的属性等，都存储在一个称为Fsimage的文件中，这个文件也是放在Namenode所在的本地文件系统上。Namenode在内存中保存着幣个文件系统的名字空间和文件数据块映射(Blockmap)的映像。这个关键的元数据结构设计
4、得很紧凑，因而-个有4G内存的Namenode足够支撑人量的文件和目录。当Namenode启动时,它从硬盘中读取Editlog和Fsimage,将所有Editlog中的事务作用在内存中的Fsimage上，并将这个新版本的Fsimage从内存中保存到本地磁盘上，然后删除旧的Editlog,因为这个旧的Editlog的事务都已经作用在Fsimage上了。这个过程称为一个检查点(checkpoint)在当前实现中，检查点只发生在Namenode启动时，在不久的将来将实现支持周期性的检查点。HDFSNameSpaceHDFS支持传统的层次型文件组
5、织结构。用户或者应用程序可以创建H录，然后将文件保存在这些目录里。文件系统名字空间的层次结构和大多数现冇的文件系统类似：用户可以创建、删除、移动或重命名文件。当前，HDFS不支持用户磁盘配额和访问权限控制，也不支持硬链接和软链接。但是HDFS架构并不妨碍实现这些特性。Namenode负责维护文件系统命名空间，任何对文件系统名字空间或属性的修改都将被Namenode记录下來。应用程序可以设置HDFS保存的文件的副本数日。文件副本的数目称为文件的副本系数，这个信息也是由Namenode保存的。DataNodeDatanode将HDFS数据以文
6、件的形式存储在木地的文件系统中，它并不知道有关HDFS文件的信息。它把每个HDFS数抓块存储在本地文件系统的一个单独的文件屮。Datanode并不在同一个H录创建所有的文件，实际上，它用试探的方法來确定每个目录的最佳文件数目，并且在适当的时候创建子目录。在同一个目录中创建所冇的木地文件并不是最优的选择，这是因为木地文件系统可能无法高效地在单个目录中支持大量的文件。当一个Datanode启动时，它会扫描本地文件系统，产生一个这些本地文件对应的所有HDFS数据块的列表，然后作为报告发送到Namenode,这个报告就是块状态报告。Seconda
7、ryNameNodeSecondaryNameNode定期合并fsimage和edits日志，将edits日志文件大小控制在一个限度下。配置SecondaryNameNode•conf/masters文件指定的为SecondaryNameNode节点•修改在masters文件中配置了的机器上的conf/hdfs-site.xml文件,加上如下选项：dfs.http.addressnamenode.hadoop-host.com:50070•c
8、ore-site.xml：这里有2个参数可配置，但-般来说我们不做修Aofs.checkpoint.period表示多长时间记录一次hdfs的镜像。默认是1小时。fs.checkpoint.s
