大规模分布式文件系统设计(distributed file system)

《大规模分布式文件系统设计(distributed file system)》由会员上传分享，免费在线阅读，更多相关内容在行业资料-天天文库。

1、大规模分布式文件系统的设计目录1.任务概述11.1产品的前景11.2产品的功能12.总体设计32.1系统总体架构33系统概要设计53.1子模块描述53.1.1MasterService子模块描述53.1.2DFSManager子模块描述53.1.3Namespace子模块描述63.1.4CloneManager子模块描述63.1.5GarbageCollector子模块描述73.1.6ChunkRebalance子模块描述73.1.7LeaseMonitor子模块描述73.1.8ChunkManager子模块73.1.9

2、ChunkServerManager子模块83.1.10ChunkServer子模块83.1.11DFSFileSyetem子模块93.1.12Client子模块93.2关键过程描述103.2.1名字空间的读取及保存过程103.2.2获取文件对应的所有文件块过程103.2.3新建文件过程103.2.4文件结束过程113.2.5文件删除过程113.2.6获取文件指定偏移量处对应Chunk所在的ChunkServer113.2.7心跳信息处理过程113.2.8心跳检测过程113.2.9ChunkServer的Chunk更新过

3、程123.2.10孤立文件块的获取123.2.11获取需要拷贝的文件块123.2.12数据块的写入过程123.2.13数据块的读取过程133.2.14创建到文件系统的输出流133.2.15复制本地文件/目录到文件系统上133.2.16复制文件系统上的文件/目录到本地133.2.17把特定的字节写到输出流144.详细设计144.1MasterServer设计144.1.1单MasterServer机制144.1.2操作日志144.1.3namespace管理154.1.4元数据（MetaData）154.1.5ChunkS

4、erver宕机处理164.2Chunk设计164.2.1Chunk的大小164.2.2块的位置174.2.3块副本位置174.2.4块的备份数184.2.5块的垃圾回收机制184.3ChunkServer设计184.3.1ChunkManager184.3.3ChunkServer服务类20221.任务概述1.1产品的前景网站应用的大数据量和大访问量的问题一直困扰着网站从业人员。数据量的增长和访问量的上升需要不停的升级硬件，提升机器性能来支持，而基于大型机的架构不能随着数据量和访问量的增长而线形扩展。为了缓解甚至解决这个

5、问题，提出了基于服务内容的负载均衡和高频访问系统这个解决方案。本系统将研究基础服务内容，将基础服务内容存储在多台机器上，利用多台机器上的小的存储空间来构成一个统一的巨大的存储空间。本系统还对文件访问进行优化，使得对一个文件的访问，可以分布到多台机器上，使得大量的对一个文件的同时访问，分配到多个机器上，提高文件的访问性能。在分布式服务内容之上，还可以建立分布式应用系统例如分布式数据库系统，两者配合可以构建一个高性能的负载均衡和高频访问系统。本系统的目的是设计和实现基于服务内容的负载均衡和高频访问系统，能够至少支持50T的数

6、据量，支持1000个并发访问，每个访问的响应时间在用户容忍的范围内。并且，对于数据量的增长和访问量的上升能够简单的通过增加普通服务器来实现，而不需要购置高价的服务器，从而大大节约成本。1.2产品的功能本系统主要分成三个部分：MasterServer，ChunkServer，Client。整体结构如下图所示：l元数据服务(MasterServer)：管理基础服务内容的元数据，包括文件的数据块信息；以及对外提供文件的读写服务，系统的内部服务；部署在分布式服务器上。l数据块服务（Chunkserver）：管理每个分布式节点上的

7、文件存储；提供缓存服务；对外提供文件数据块的访问；部署在分布式节点上。l客户端接口(Client)：对应用端提供服务，提供文件的创建，读取，写入功能。它通过向MasterServer、ChunkServer发送命令来提供服务。部署在应用端上。22文件的组织结构如下所示：l命名空间(namespace)：文件的组。一个namespace可以保存多个文件，一个文件只能属于一个namespace。一般相同应用的文件保存在同一个namespace中，有namespace来统一设置文件的权限、保存属性。l文件(file)：分布式文

8、件。一个文件属于一个namespace，并且有多个Chunk构成。文件会存储在多个ChunkServer上。对文件的读取和写入都在ChunkServer上进行。l文件块(chunk)：文件的基本组织单位。每个文件块都是相同大小的，系统对文件的读写最后都转化为对文件块的读写。对用户来说，Chunk是不可见的。本系统主要