分布式存储系统管理系统设计和实现

《分布式存储系统管理系统设计和实现》由会员上传分享，免费在线阅读，更多相关内容在学术论文-天天文库。

1、ADissertationSubmittedtoShanghaiJiaoTongUniversityfortheMasterDegreeofEngineeringDESIGNANDIMPLEMENTATIONOFMANAGEMENTSYSTEMFORDISTRIBUTEDSTORAGESYSTEMAuthor：DongXiaomingSupervisor：LiXiaoyongSchoolofInformationSecurityEngineeringShanghaiJiaoTongUniversityShanghai,P.R.ChinaDecember2012万方数据万方数

2、据万方数据上海交通大学硕士学位论文摘要分布式存储系统的管理系统的设计与实现摘要大规模分布式存储系统具有高可扩展性、高可用性等优点，已成为存储领域的研究和发展方向，在各大互联网公司和企业数据中心都有着广泛的应用。由于分布式存储系统规模庞大，功能复杂，完善的管理系统则是实现存储系统可管理、高可靠运行的重要前提。BlueOcean是我们实验室设计开发的基于对象存储的大规模分布式文件系统，其架构类似于GoogleFileSystem，它由一个元数据结点，一个备份结点（可选），多个数据结点和若干个客户端组成。其中元数据结点主要用于管理文件元数据信息，并负责负载均衡和租约管理等；数据结

3、点负责保存数据，并以线程池的方式高并发处理来自客户端的I/O请求；客户端为应用程序提供POSIX接口，其内部采用了单线程异步事件驱动的框架，与元数据结点进行元数据交互，与数据结点进行数据交互。本文基于BlueOcean分布式文件系统。研究了在设计与实现管理系统过程中需要解决的关键技术问题，提出了相应的解决方法，并详细描述了其管理系统的设计细节。本文的主要工作包括：(1)深入分析和研究现有的分布式文件系统；(2)分析实验室开发的BlueOcean分布式文件系统的总体架构及其各类结点的内部实现细节；(3)分析了在设计BlueOcean分布式文件系统的管理系统的过程中所遇到的关键

4、问题，并针对这些问题提出了相应的解决方案；第I页万方数据上海交通大学硕士学位论文摘要(4)全面描述了BlueOcean分布式文件系统的管理系统的设计细节，并展示了其功能和使用效果。本文设计的BlueOcean分布式文件系统的管理系统具有易配置、易监控、易管理的优点。论文的成果对其他分布式存储系统的管理系统的设计也具有较好的借鉴作用。关键词：分布式存储系统，管理系统，配置管理，状态监控第II页万方数据上海交通大学硕士学位论文ABSTRACTDESIGNANDIMPLEMENTATIONOFMANAGEMENTSYSTEMFORDISTRIBUTEDSTORAGESYSTEMA

5、BSTRACTThelarge-scaledistributedstoragesystem,whichhastheadvantagessuchashighscalability,highavailability,hasbecomethedirectionofresearchanddevelopmentinthestoragearea,andisalsowidelyappliedinmajorInternetcompaniesandenterprisedatacenters.Becausethedistributedstoragesystemislarge-scaleandh

6、ascomplexfunctions,theperfectmanagementsystemwillbeanimportantprerequisitetoassurethatthestoragesystemtobemanagedeasilyandrunreliably.BlueOceanisalarge-scaledistributedfilesystemdesignedanddevelopedinourlaboratory,anditisalsoanobject-basedstoragesystem.ItsarchitectureissimilartoGoogleFileS

7、ystem,whichconsistsofametadatanode,abackupnode(optional),multipledatanodesandseveralclients.Metadatanodeismainlyusedtomanagefilemetadatainformation,andisresponsibleforloadbalancingandleasemanagement;backupnodewilltakeovermetadatanode,whenmetadatanodeisoutofser