网络环境下分布式文件系统的设计与实现

《网络环境下分布式文件系统的设计与实现》由会员上传分享，免费在线阅读，更多相关内容在学术论文-天天文库。

1、上海交通大学硕士学位论文网络环境下分布式文件系统的设计与实现姓名：华清申请学位级别：硕士专业：计算机软件与理论指导教师：黄林鹏20061201网格环境下分布式文件系统的设计与实现摘要今时今日，网格技术已经不再把自己局限在高性能计算的范畴中，而是通过向网络服务靠拢，建立起一套面向服务的体系架构。相应于此，网格中的数据模块也不再是一个提供资源的底层支持模块，而逐渐向一个功能独立的，相对自治的分布式文件系统发展。本文的目的在于构造一种网格环境下的分布式文件系统。在结构上它相当于中国教育科研网格底层支撑平台的数据模块部分，为C

2、GSP其他功能模块提供持久的数据存储功能以及稳定而高效的数据传输服务。另一方面，这个系统也可以独立运行，网格终端用户可以通过它建立自己的数据空间。传统的分布式文件系统往往是紧耦合的、基于文件级别应用副本策略的。这些系统虽然性能出众、但往往是应对专门系统设计，通用性不强。而过去基于Web的分布式文件系统往往性能低下、存储能力弱、传输效率低。为了满足网格环境下海量数据密集型应用的需求以及面向服务的框架，我们设计并实现了一个基于分片的、松耦合的分布式文件系统，它包括底层存储资源集合、存储资源管理模块、元数据管理模块、副本管理

3、模块、数据传输管理模块、信息监控模块、策略分析模块以及虚拟文件视图终端等部件。本文设计并实现的系统具有以下的特点和优势：²稳定性：通过副本管理模块调整系统中文件合理的冗余度，对”零副本危机”进行预测并予以避免。策略分析模块会在存储资源选择时挑选健壮性最佳的数据节点进行存储；²高效性：在传输中使用GridFTP带状并行传输，同时提高服务器端和客户端的带宽利用率。策略分析模块会在构造传输计划时挑选最近、当前可用带宽最大的节点进行传输；²通用性：通过使用网络服务资源框架实现远程调用，存储资源只需向存储资源管理模块汇报就可以加

4、入资源集，用户也可以在任何终端登入自己的用户空间；I上海交通大学硕士学位论文²可扩展性：通过对策略分析模块的合理设计，开发评估函数接口。他模块可以通过调用接口得到所需要的结果，而管理员可以通过对接口的不同实现，对配置参数的调整改变系统的运行策略。这样系统也便于重构和功能扩展。本文所有设计、实现的结果都在一个网格环境下测试，并通过OptorSim模拟了大规模节点数、长运行时间的运行环境进行可用性测试。关键词：数据网格，分布式文件系统，网络服务资源框架，分片机制，副本管理，高性能数据传输–II–THEDESIGNANDIM

5、PLEMENTATIONOFADISTRIBUTEDFILESYSTEMINGRIDABSTRACTNowadays,gridtechnologywouldnolongerlimititselfinthefieldofhighperformancecomputing,insteaditismovingalongtothewebservicetechnologyandhasbeenconstruct-inganSOAgridarchitecture.Accordingly,thedatamoduleofgridwillbe

6、comeanindividualautonomicdistributedfilesysteminsteadofjustasupportmodule.ThisthesisaimstoconstructadistributedfilesystemingridforChinaGridSupportPlatformandprovidesothersubmoduleinCGSPwithpermanentdataaccessandstableefficientdatatransferservice.Intheotherside,this

7、systemcanberunindependentlyandletendpointgriduserscreatetheirowndataspaceviathenetwork.Traditionaldistributedfilesystemsaretight-coupledandhaveoutstandingperformance.However,theyarealwaysdesignedforaspecificsystemandlostthegenerality.Whiletheperformanceofsomeweb-b

8、aseddistributedfilesystemsareatpoorperformance.Tomeettherequirementoflargedistributeddata-intensiveapplications,wedesignedandim-plementedaslice-based,loose-coupleddist