面向代理服务分布式文件系统设计和实现

《面向代理服务分布式文件系统设计和实现》由会员上传分享，免费在线阅读，更多相关内容在学术论文-天天文库。

1、国内图书分类号：TP393.01学校代码：10213国际图书分类号：621.3密级：公开工程硕士学位论文面向代理服务的分布式文件系统设计与实现硕士研究生：张永胜导师：张宏莉教授申请学位：工程硕士学科：计算机技术所在单位：计算机科学与技术学院答辩日期：2012年7月授予学位单位：哈尔滨工业大学ClassifiedIndex:TP393.01U.D.C:621.3DissertationfortheMasterDegreeinEngineeringDESIGNANDIMPLEMENTATIONOFDISTRIBUTEDFILESYST

2、EMFORPROXYSERVICESCandidate：ZhangYongshengSupervisor：Prof.ZhangHongliAcademicDegreeAppliedfor：MasterofEngineeringSpeciality：ComputerTechnologyAffiliation：SchoolofComputerScienceandTechnologyDateofDefence：July,2012Degree-Conferring-Institution：HarbinInstituteofTechnolo

3、gy哈尔滨工业大学工程硕士学位论文摘要随着互联网的快速普及、技术的不断成熟，越来越多的互联网服务正在快速地涌现。随之而来的存储需求问题，成了众多问题中亟待解决的首要问题。网络代理服务是典型的公共服务之一，具有不断向集中式服务演变的趋势。其新的业务数据每天以TB速度增长，本地存储模式已经不再适应，需要一种新的存储模式，来提供高效的存储与检索性能以及良好的可扩展性。目前，代理服务尚缺少适用于这种环境的系统架构。据此，本文就目前的形势开发了一种新型的面向代理服务的分布式文件系统，以解决当前代理数据存储方面的问题。首先，本文给出分布式系统

4、的整体架构，并针对代理服务的特点，设计与实现了分布式文件系统的通信协议。该协议支持扩容时节点的自动加入，因故障发生而导致节点异常退出时的集群节点恢复等功能。其次，对整个分布式文件系统进行了整体功能的设计与实现，其中重点对全局命名空间管理模块、数据管理模块以及负载均衡模块进行了详细的阐述。重点突破了如下关键技术：多NameServer节点的全局命名空间管理机制、快速的文件定位与检索技术、热点实时负载均衡机制以及高效的失效副本替换策略。其中，提出的定位文件的机制达到O(1)时间复杂度。最后，通过功能测试和性能测试验证了面向代理服务的分

5、布式文件系统的有效性。综上，本文提出的面向代理服务的分布式文件系统，有效地解决了代理数据分布式存储问题。关键词：分布式文件系统；网络代理；通信协议；全局命名空间；数据存储-I-哈尔滨工业大学工程硕士学位论文AbstractWiththerapidpopularizationandtechnologymaturesoftheInternet,moreandmoreInternetserviceisrapidlyemerging.Storagehasbecomethefirstproblemtoberesolved.Thenetwor

6、kproxyserviceistypicalofpublicservice,onehastokeepthetrendoftheevolutionofcentralizedservices.ThenewbusinessdatainthisenvironmentwithTBspeedgrowtheachday,andthelocalstoremodelisnolongeradapt.Itneedsanewstoragemodel,toprovideefficientstorageandretrievalperformanceandgo

7、odscalability.Thesystemarchitectureforthisproxyserviceenvironmenthasnotyetappeared.Therefore,thispaperonthecurrentsituationhasdevelopedanewtypeofproxyservice-orienteddistributedfilesystemtoresolvethecurrentissuesofproxydatastorage.Firstly,thispaperpresentstheoverallar

8、chitectureofdistributedsystems,andaccordingtothecharacteristicsofproxyservice,designandrealizethedistributedsystemcommunicat