并行文件系统的安装与测试

《并行文件系统的安装与测试》由会员上传分享，免费在线阅读，更多相关内容在学术论文-天天文库。

1、并行文件系统的安装与测试摘要分布式文件系统以其高可靠性、高可扩展性以及高性能和高性价比成为高性能计算平台存储系统的首选，已经在军事技术、天气预报等环境中得到广泛应用。相比其它文件系统，它具有两个特点：一是通过数据的分布存储，来提供更大的存储空间，并利用并行的I／O服务模式提供更高的I／O带宽；二是通过使用各种新颖的分布式存储体系结构，来为应用程序提供更丰富的I／O模式。比如通过使用对象存储技术，为应用程序提供面向对象的数据存储格式，并提供Peta级大小的存储空间。Lustre是典型的基于对象存储体系结构的并行文件系统，它起源于卡耐基梅隆大

2、学的Coda项目研究工作，已经成为当前高性能计算领域使用最广泛的并行文件系统之一。Lustre具有良好的大文件I／O性能，但是由于Lustre使用分布式的存储体系结构，文件元数据和数据分开存储，它的小文件I／O性能低下，甚至不如本地文件系统。本文以Lustre为研究对象，进行并行文件系统的安装与测试，并与传统的分布式文件系统（NFS）和其他几种并行文件系统进行简单比较，分析并行文件系统及Lustre的存储结构，研究并行文件系统作为存储系统的好处及其传输速度，提出改进建议。关键词：分布式文件系统LustreI／O性能27ABSTRACTDi

3、stributedFileSystemhasbeenwidelyappliedinHighPerformanceComputationfieldssuchasmilitariststrategist，weatherforecast．Thesefields’specialityneedsthedistributedfilesystembeingofhighlythroughputandavailability.ThedistributedfilesystemhasbeenthemainstoragearchitraveofHPCenviro

4、nment.Ithastwocharacteristics:oneisthebiggercapabilityandhigheraggregationI／Obandwidthbydistributeddatastorage；theotherisabundantoftheI／Oaccessmode，suchastheobject—baseddatapatternbyuseobject-basedstoragearchitecture．Lustreisatypicalobject-baseddistributedfilesystem.Itori

5、ginsfromthecodaprojectinCarnegieuniversity,andhasbecomeoneofthewidelyuseddistributedfilesysteminHPCfiled.IthasfavourablebigfileI／Operformance,whichhasalmostPetadegreeaggregationI／Obandwidth.Therefore,becauseofitsdistributedstoragearchitecturewhichplacingfiledataandmetadat

6、aseparately.ItssmallfileI／Operformanceisnotsowell,evenlowerthanthatinthelocalfilesystem.ThispaperresearchesthebenefitsofdistributedfilesystemanditsspeedoftransmissionbyinstallingandtestingtheLustrefilesystemandcomparingwithNFSandotherkindsofdistributedfilesystem.Ithasalso

7、analyzedstoragestructuresoftheLustreanddistributedfilesystem.Keywords：distributedfilesystem，object—basedstorage，I／0performance27目录并行文件系统的安装与测试1一、引言4二、研究现状42.1分类42.2其余并行文件系统52.2.1PVFS52.2.2GPFS52.2.3PFS62.2.4DAFS62.3分布式文件系统中的存储结构62.3.1对称式虚拟存储系统72.3.2非对称式虚拟存储系统82.3.3数据块虚拟存储

8、系统和虚拟文件系统9三、Lustre简介93.1Lustre介绍93.2Lustre系统架构103.3Lustre运行机制113.4性能特点12四、各部分功能剖析134.1元数据服务器MDS1