紫荆并行文件系统文件布局的设计与实现

《紫荆并行文件系统文件布局的设计与实现》由会员上传分享，免费在线阅读，更多相关内容在教育资源-天天文库。

1、Redbud文件系统文件布局的设计与实现摘要文件布局是文件系统的重要组成部分，维护着文件的逻辑位置到存储设备物理位置的映射关系。Redbud文件系统是适用于SAN应用环境的分布式文件系统，其结合SAN的结构特点设计并实现了基于扩展块段的文件布局。Redbud文件布局操作过程中遵循满足最低要求原则，并采用空间连续分配策略及实施合并扩展块段策略，使系统具有优秀的性能。关键字RFS；SAN；文件布局DesignandImplementationofFileLayoutinRedbudFileSystemAbstractFileLayoutwhichmanagesthemappingrelation

2、shipbetweenlogicaloffsetoffileandphysicaladdressofstoragedeviceisimportantforafilesystem.RedbudisadistributedfilesystemusedinSAN,whichhasdesignedandimplementedfilelayoutbasedonextenttotakeadvantageofthestructuralcharacteristicsofSAN.Followingtheprincipleofmeetingtheminimumrequirements,andadoptingth

3、estrategyofspacecontinuousallocationandextentsreal-timemergerduringfilelayoutoperatinginRedbudimprovessystemperformance.KeyWordsRFS;SAN;Filelayout51.引言随着信息技术的飞速发展，传统的存储方式已经无法满足用户的需要，网络存储成为存储系统发展的趋势。存储区域网络（StorageAreaNetwork,SAN）由于自身结构具备可扩展性、高可用性、高效率等优势，成为网络存储研究的热点之一。分布式文件系统如NFS[1]、AFS[2]等无法满足大规模网络存

4、储系统的高可扩展性要求。基于对象的文件系统如Lustre[3]、PanFS[4]需要模拟基于对象存储设备（OSD），不适用于一般的SAN应用环境。文件布局（Layout）是文件系统的重要组成部分，维护着文件的逻辑位置到存储物理位置的映射关系。目前文件系统普遍采用的Layout主要有两种：基于块（Block）的Layout和基于扩展块段（Extent）的Layout。EXT2/EXT3[5][6]采用基于Block的Layout，它们利用一个或多个块位图管理磁盘空间；XFS[7]、JFS[8]则采用基于Extent的Layout，通过B+树管理磁盘空间。实验显示，基于Extent的Layout

5、在顺序读写大文件的性能上优于基于Block的Layout[9]。集群文件系统GFS[10]、GPFS[11]等可以满足SAN应用环境，但其空间管理都采用基于Block的Layout。国内的分布式文件系统中，曙光机群文件系统（DCFS）[12]采用的是基于Block的Layout，蓝鲸机群文件系统（BWFS）[13]采用了折中的策略，提出固定长度Extent和幂次长度Extent的Layout，以满足自身系统的需要，获得了较好的性能。但这种折中策略也存在不足之处：①两种方式都不能对Extent进行划分，造成空间浪费。采用固定长度Extent的Layout，单个文件浪费的空间最高可接近一个Ext

6、ent的大小；采用幂次长度Extent的Layout，单个文件浪费的空间最高可接近文件大小的一倍。②两种方式都不能对Extent进行合并，即使是在磁盘上连续存放的文件，也不能将文件Layout信息存放在一个Extent中，无法最大程度发挥基于Extent的Layout顺序读写文件的优势。为满足海量数据存储的需要，同时达到数据传输低延迟高带宽，获得更好文件读写性能的目标，我们设计实现了融合Redbud文件系统（RedbudFileSystem，RFS）结构特点的基于Extent的Layout。本文第2节介绍RFS的基本结构及RFS读写操作的流程；第3、4节详细描述RFS文件Layout操作的设

7、计与实现；第5节给出RFS读写的测试数据。最后，对本文工作进行了总结。2.RFS简介RFS是清华大学高性能计算研究所研发的适用于SAN应用环境的分布式文件系统，它采用专用服务器模式，将文件访问的数据流与控制流有效分离，为客户提供高吞吐率和高扩展能力的数据访问，能够满足高性能计算、视频点播等各种应用。2.1RFS的系统结构SAN可以提供比传统网络存储模式更高的性能、扩展性和可用性。RFS系统结构构建在SAN结构