小议分布式文件系统设计与实现 .doc

《小议分布式文件系统设计与实现 .doc》由会员上传分享，免费在线阅读，更多相关内容在应用文档-天天文库。

1、小议分布式文件系统设计与实现小议分布式文件系统设计与实现小议分布式文件系统设计与实现小议分布式文件系统设计与实现　　1、为了满足文件存储的新的要求，设计一种好的分布式文件系统越来越成为需要。分布式文件系统使得分布在多个节点上的文件如同位于网络上的一个位置便于动态扩展和维护。　　由于分布式文件系统中的数据可能来自很多不同的节点，它所管理的数据也可能存储在不同的节点上，这使得分布式文件系统中有很多设计和实现与本地文件系统存在巨大的差别。下面主要讲述分布式文件系统设计和实现中所要面对和解决的主要问题[2]。　　2软件总体结构　　设计一个好的分布式文件系统是集群存储的关键。我们设计的分布式文件系统通过

2、统一名字空间管理使得分布在多个服务器上的文件如同位于网络上的一个位置便于动态扩展和维护。　　我们把整个系统主要划分客户端与服务器端两部分。客户端包括MVFS文件系统，CC模块，CNS模块,CN模块。服务器端包括SC模块，SNS模块,SN模块。应用程序的I/O请求首先送给MVFS文件系统，MVFS文件系统根据文件句柄获得本文件系统的全局文件名并把对文件的访问转换为对CC的访问。CC收到请求之后，如果在Cache中没有发现对应的数据，则将请求发给CNS层，CNS层根据全局文件名获得该文件所在的服务器。最终通过CN层将命令发给服务器。服务器端SN层通过网络接待命令后，将命令传递给SNS层负责将全局文

3、件名转化成本地的文件名，然后到SC层去查找，如果在Cache中找不到，最终会通过本地的文件系统完成对应的I/O请求。整个系统的总体结构如图1所示。　　在服务器端还有一个全局管理程序。通过该心跳协议程序，所有的存储节点的所共享出来的文件构成了整个文件系统的单一的全局逻辑树，从而可以让客户端见到唯一确定的全局逻辑树。　　图1总体结构图　　3关键技术　　3．1统一名字空间的设计与实现　　统一名字空间是指服务器上的每一个目录和文件在我们的文件系统中都有一个统一的，唯一的名字。要实现统一名字空间就必须将服务器上的本地局部路径与文件系统中的全局路径一一对应，所以我们在每一个服务器上都存放了一个本地配置文件

4、来记录这个映射关系，每个服务器应该根据所有服务器的本地配置文件而形成一个全局配置文件。本地配置文件的第一行主要记录其版本号。后面的每一行是一条记录，主要包括共享的全局路径及物理路径。　　而全局配置文件的第一行主要记录其版本号，服务器个数及每个服务器的IP，后面的每一行是一条记录，与本地配置文件的记录相识，只是多了一个服务器IP的信息　　当服务器启动后，首先根据自己的本地配置文件生成一个全局配置文件，然后广播自己的本地配置文件。当服务器接收到其他服务器的本地配置文件后，会根据这个本地配置文件修改全局配置文件。当全局配置文件中不包括该服务器的信息即第一行没有该服务器的IP，我们将全局配置文件的版本

5、号改为两个配置文件中版本号的稍大者，并修改服务器个数，添加服务器的IP及对应的记录。如果全局配置文件中已包括该服务器的信息且全局配置文件的版本号大则不用修改，否则将全局配置文件的版本号修改成接收文件的版本号，并修改服务器个数，添加服务器的IP及对应的记录。　　当修改了某个服务器的信息后，我们应该将本地配置文件的版本号修改为全局配置文件的版本号加一，然后广播自己的本地配置文件。　　当获得一个全局配置文件后我们还应将其转化为一棵目录文件树使得在客户端对一个文件或目录的操作能够转换成对服务器上得操作。　　为了方便查找，我们将全局配置文件转化为一棵二叉树，以全局配置文件中记录的全局路径来建树。其中树的

6、根节点代表者全局路径的根目录。树中节点的左儿子为其子目录，右儿子与其在同一级目录上。　　3．2客户端文件系统的设计与实现　　文件系统应该提供一组服务，使用户能够处理数据，以执行所需要的操作，包括创建文件、删除文件、组织文件、读/写文件、控制文件的访问权限等。　　Linux通过VFS为各种文件系统提供统一的接口。VFS是内核中的一个软件层次，负责处理所有与文件系统有关的系统调用。我们通过像VFS注册了一种文件系统MVFS，使得用户的请求可以由我们提供的函数来处理[3]。　　MVFS文件系统中主要包括超级块，目录项和索引节点。MVFS文件系统的总体结构如图所示。　　图2MVFS文件系统的总体结构　

7、　文件系统的超级块主要记录文件系统的数据块大小，存放文件系统设备的设备号以及该文件系统根目录的目录项的指针，在MVFS文件系统中，我们在超级块中还存放了要连接的服务器的IP和使用的用户名和密码。MVFS文件系统的目录项描述文件系统中与某个文件索引节点相链接的一个目录项(可以是文件,也可以是目录)，同时通过链表记录了父目录与它下面的子目录和文件的关系。而索引节点记录了关于这个目录或文件的一些系统信息