dnfs:一种面向linux集群的可扩展分布式文件系统

dnfs:一种面向linux集群的可扩展分布式文件系统

ID:33528863

大小:715.67 KB

页数:59页

时间:2019-02-26

dnfs:一种面向linux集群的可扩展分布式文件系统_第1页
dnfs:一种面向linux集群的可扩展分布式文件系统_第2页
dnfs:一种面向linux集群的可扩展分布式文件系统_第3页
dnfs:一种面向linux集群的可扩展分布式文件系统_第4页
dnfs:一种面向linux集群的可扩展分布式文件系统_第5页
资源描述:

《dnfs:一种面向linux集群的可扩展分布式文件系统》由会员上传分享,免费在线阅读,更多相关内容在学术论文-天天文库

1、华中科技大学硕士学位论文摘要*随着信息技术革命的不断深入,数字化信息的增长速度大于单个存储设备的容量增加速度,特别是当前高性能计算、数据中心和Internet服务等领域需要几个到几十个PetaBytes的存储容量,这远大于目前单个存储设备所能提供的。因此最为直接的思路是把多个存储子系统集成到一个更大的系统,构造合适的分布式文件系统正是一种重要的实现方法。因此设计了一种分布式文件系统DNFS(DistributedNetworkFileSystem),该系统可以统一管理多个存储结点,并能够满足高I/O性能、可扩展及高可用性等需求。进而实现了DNFS的原型系统,该系统

2、具备了并发控制、负载均衡、容错和动态扩展等特征。DNFS基于三方架构,由客户端、元数据服务器和存储模块组成。通过一个两级文件锁,即客户端锁和元数据服务器端锁来实现多个客户端对同一文件并发访问的控制;通过对系统各个存储节点的负载进行监控,再运用负载均衡调度策略来实现系统的负载均衡;容错功能则是通过对文件进行备份来实现的,提高了系统的可用性;动态扩展功能则是通过让系统中各个节点采用心跳协议来保持联系,以此达到系统动态扩展的效果。最后对DNFS文件系统从功能和性能两个方面进行了测试和分析,前者着重验证DNFS系统中的文件锁机制,后者着重测试了DNFS在各种环境下的性能,

3、以验证DNFS在大读写请求下的高性能。实验结果表明,DNFS具有高可扩展性、负载均衡、并发控制及容错等优点,在实际应用或者科研环境中,具有较大的应用前景和实用价值。关键词:海量数据存储,分布式文件系统,可扩展性*该项研究受国家重点基础研究“973”计划(2004CB318203)和国家自然科学基金“低熵存储系统(LESS)理论、方法和实现技术研究”(No.60603075)的研究内容资助I华中科技大学硕士学位论文Abstract*Withthedevelopmentoftheinformationtechnology,thegrowthofdigitalinfor

4、mationfasterthanthegrowthofindividualstoragedevices’capacity,especiallyinhigh-performancecomputing,datacenters,InternetservicesandotherareaswhichrequireseveralorevendozensofPetaBytesstoragecapacity,andthatismuchlargerthanasinglestoragedevicecanbeprovided.Therefore,mergingthemultiplest

5、oragesubsystemsintoalargersystemhasbecomethemostdirectways,andhigh-performancedistributedfilesystemisanimportantmethodtoachievethat.Thereforeadistributedfilesystemformassstoragefeaturesisdesigned,thatis,DNFS(DistributedNetworkFileSystem),whichcanmanagemultiplestoragenodesunified,andbe

6、abletomeetthehighI/Operformance,scalabilityandhighavailabilityneeds.ThentheprototypeofDNFSiscompleted,whichhasthecharacteristicsofconcurrentcontrol,loadbalancing,faulttoleranceanddynamicexpansion.DNFSisatripartitestructure,whichcontainstheclient,metadataserverandstorage-sidecomponent.

7、Usingatwo-leverlock,whichiscomposedoftheclientlockandthemetadataserver-sidelock,DNFScanachieveconcurrentcontrolwhenmultipleclientsaccessthesamefilesatthesametime;DNFSmonitorthesystemloadofallstorage-side,andthenusetheloadbalancingstrategytoachievetheloadbalancingsystem;Bybackupfiles,D

8、NFSha

当前文档最多预览五页,下载文档查看全文

此文档下载收益归作者所有

当前文档最多预览五页,下载文档查看全文
温馨提示:
1. 部分包含数学公式或PPT动画的文件,查看预览时可能会显示错乱或异常,文件下载后无此问题,请放心下载。
2. 本文档由用户上传,版权归属用户,天天文库负责整理代发布。如果您对本文档版权有争议请及时联系客服。
3. 下载前请仔细阅读文档内容,确认文档内容符合您的需求后进行下载,若出现内容与标题不符可向本站投诉处理。
4. 下载文档时可能由于网络波动等原因无法下载或下载错误,付费完成后未能成功下载的用户请联系客服处理。