基于hadoop分布式文件存储服务平台设计和实现的论文

《基于hadoop分布式文件存储服务平台设计和实现的论文》由会员上传分享，免费在线阅读，更多相关内容在学术论文-天天文库。

1、浙江大学硕士学位论文摘要随着互联网应用的飞速发展，互联网上的信息和数据量呈现爆炸性增长，如何高效、安全地组织和存储这些大规模的数据，并最大程度地降低应用成本，引发了国内外越来越多的学术界和企业界的关注。当前，无论在广义的互联网环境中，还是在中等规模企业的内部网中，抑或在小规模的局域网中，都存在着大量高性能且廉价的闲散存储资源。充分利用这些闲散、廉价的存储资源，构建可信、优质的大规模存储池，是解决上述问题的有效手段。分布式文件系统为有效利用分散存储资源提供了一条途径。然而，传统意义上的分布式文件存储系统，如Hadoop项目中的HDFS，是运行在结点性能相似、网络环境高度稳定的集群系统

2、中的。因此，如果直接将传统的分布式文件系统部署在网络环境动态变化、存储结点自由进出的网络中，则存在空间利用率低、网络动态适应性差、存储结点信誉度低等问题。本文以Hadoop开源系统为基础，研究适用于广域网络的广义分布式文件存储服务模型，设计并实现了一个基于高效冗余备份策略及服务品质感知的分布式文件存储服务平台——ODFS。研究工作取得如下成果：(1)将分布式文件存储系统建立在动态网络环境中，充分利用了网络环境中的廉价计算资源，降低了存储服务系统的总体拥有成本；(2)提出了一种基于恢复卷的冗余备份机制，大大减少了文件冗余信息的存储空间，并且降低了文件的维护成本；(3)建立了基于层次化

3、名称结点的树状存储系统模型，解决了不同集群间不可共用一套分布式系统的瓶颈问题：(4)设计了一个文件存取客户端软件，解决了Hadoop客户端在Windows环境中的运行问题。关键词：分布式文件存储，Hadoop，冗余备份，品质感知，云存储浙江大学硕士学位论文AbstractWiththerapiddevelopmentofInternetapplications，informationanddataontheInteractgrowexplosively．HowtoorganizeandstorethemassivedataovertheInternethasbecomeanurge

4、ntissue．Currently,thereexistalargenumberoffreeandcheapstorageresourcesinthenetwork，eitherontheInteractortheIntranet．Makinguseofthenumerousfreestorageresourcesinthenetworkisaneffectivemeansofprovidingalargescalestorageinfrastructure．ThedistributedfilesystemisawaytOmakeuseofdistributedstorageres

5、ources．However,traditionaldistributedfilesystems，suchasHDFSoftheHadoopproject，runonclustersystemswithstableandsimilarnodes．Deployingatraditionaldistributedfilesystemdirectlyonthedynamicnetworkwithfreenodesmayresultinissuessuchaslowstoragespaceutilization，pooradaptabilitytOthenetwork，andlowcred

6、ibilityofstoragenodes．BasedontheHadoopopen—sourceproject，thisthesisstudiesonanoveldistributedfilestoragemodelthatadaptstothedynamicnetworkenvironment，anddesignsandimplementsQDFS，adistributedfilestorageserviceplatformthatemploysadataredundancypolicybasedonrecoveryvolumesandaQoS—awaredataplaceme

7、ntstrategy．Themaincontributionofthethesisincludes：(1)Thedistributedfilestoragesystemisbasedonthedynamicnetworkenvironment．Itmakesuseoffreeandcheapstorageresourcesinthenetworkandhencereducesthetotalcostofownership．(2)Thebackupmechanismis