资源描述：
《Hadoop学习总结之二：HDFS读写过程解析》由会员上传分享，免费在线阅读，更多相关内容在教育资源-天天文库。
1、一、文件的打开1.1、客户端HDFS打开一个文件，需要在客户端调用DistributedFileSystem.open(Pathf,intbufferSize)，其实现为：publicFSDataInputStreamopen(Pathf,intbufferSize)throwsIOException{ returnnewDFSClient.DFSDataInputStream( dfs.open(getPathName(f),bufferSize,verifyChecksum,statistics));}其中dfs为DistributedFi
2、leSystem的成员变量DFSClient，其open函数被调用，其中创建一个DFSInputStream(src,buffersize,verifyChecksum)并返回。在DFSInputStream的构造函数中，openInfo函数被调用，其主要从namenode中得到要打开的文件所对应的blocks的信息，实现如下： synchronizedvoidopenInfo()throwsIOException{ LocatedBlocksnewInfo=callGetBlockLocations(namenode,src,0,prefetchSize
3、); this.locatedBlocks=newInfo; this.currentNode=null;}privatestaticLocatedBlockscallGetBlockLocations(ClientProtocolnamenode, Stringsrc,longstart,longlength)throwsIOException{ returnnamenode.getBlockLocations(src,start,length);}LocatedBlocks主要包含一个链表的Listblocks，其中
4、每个LocatedBlock包含如下信息：·Blockb：此block的信息·longoffset：此block在文件中的偏移量·DatanodeInfo[]locs：此block位于哪些DataNode上上面namenode.getBlockLocations是一个RPC调用，最终调用NameNode类的getBlockLocations函数。1.2、NameNodeNameNode.getBlockLocations实现如下：publicLocatedBlocks getBlockLocations(Stringsrc,
5、 longoffset, longlength)throwsIOException{ returnnamesystem.getBlockLocations(getClientMachine(), src,offset,length);}namesystem是NameNode一个成员变量，其类型为FSNamesystem，保存的是NameNode的namespace树
6、，其中一个重要的成员变量为FSDirectorydir。FSDirectory和Lucene中的FSDirectory没有任何关系，其主要包括FSImagefsImage，用于读写硬盘上的fsimage文件，FSImage类有成员变量FSEditLogeditLog，用于读写硬盘上的edit文件，这两个文件的关系在上一篇文章中已经解释过。FSDirectory还有一个重要的成员变量INodeDirectoryWithQuotarootDir，INodeDirectoryWithQuota的父类为INodeDirectory，实现如下：publicclass
7、INodeDirectoryextendsINode{ …… privateListchildren; ……｝由此可见INodeDirectory本身是一个INode，其中包含一个链表的INode，此链表中，如果仍为文件夹，则是类型INodeDirectory，如果是文件，则是类型INodeFile，INodeFile中有成员变量BlockInfoblocks[]，是此文件包含的block的信息。显然这是一棵树形的结构。FSNamesystem.getBlockLocations函数如下：publicLocatedBlocksgetBlock
8、Locations(Stringsrc,longoffset,lo
