基于hadoop技术云存储管理层的设计与实现

《基于hadoop技术云存储管理层的设计与实现》由会员上传分享，免费在线阅读，更多相关内容在学术论文-天天文库。

1、硕士学位论文（工程硕士）基于HADOOP技术云存储管理层的设计与实现THEDESIGNANDIMPLEMENTATIONOFCLOUDSTORAGEMANAGEMENTLAYERBASEDONHADOOP吕文俊2010年10月国内图书分类号：TP311学校代码：10213国际图书分类号：621.3密级：公开工程硕士学位论文基于HADOOP技术云存储管理层的设计与实现硕士研究生：吕文俊导师：李东教授副导师：冯志超高级工程师申请学位：工程硕士学科、专业：软件工程所在单位：软件学院答辩日期：2010年10月授予学位单位：

2、哈尔滨工业大学ClassifiedIndex:TP311U.D.C.:621.3DissertationfortheMaster’sDegreeinEngineeringTHEDESIGNANDIMPLEMENTATIONOFCLOUDSTORAGEMANAGEMENTLAYERBASEDONHADOOPCandidate:LvWenjunSupervisor:ProfessorLiDongAssociateSupervisor:SeniorEngineerFengZhichaoAcademicDegreeAppl

3、iedfor:MasterofEngineeringSpeciality:SoftwareEngineeringAffiliation：SchoolofSoftwareDateofDefence:October,2010Degree-Conferring-Institution:HarbinInstituteofTechnology哈尔滨工业大学工程硕士学位论文摘要随着网络和信息技术的飞速发展，数据正以超乎人们想象的速度飞速发展。人们对数字信息日益广泛的需求，导致存储系统的规模变得越来越庞大，信息资源的共享也显得越

4、来越重要，管理也相应变得越来越复杂。同时，数据的飞速增长也对存储系统的可靠性和扩展性提出了挑战。云存储是一种有效的数据存储方法，其作用在于为用户提供互联网服务形式，同时提供更强的存储功能。首先，在借鉴了国内外云存储系统的基础上，本文分析了所采用的高可扩展分布式存储和高可用集群等关键技术，然后研究了Hadoop开源分布式存储架构。根据国际商用机器科技有限公司的产品设计要求，在需求分析的基础上，设计并实现了云存储管理层。系统的六个子模块，包括管理节点、数据节点、数据传输、通信协议、数据校验、资源管理。在此设计的基础上，

5、系统采用Java语言在Linux平台上来开发。通过将数据流与消息流分开，来提高系统的性能。采用动态可扩展的分布式存储技术，通过动态增加数据节点来提高系统的存储容量。采用主管理节点和备用管理节点交替工作来提高系统的可用性。采用集群系统资源管理，通过调度器分发作业给数据节点执行消息，使系统自动检查和处理故障，从而减轻了系统管理的复杂度。本系统利用了计算机网络搭建一个易于使用易于管理的云存储平台。最后对系统功能和性能进行测试，通过测试表明，系统达到发布的标准，满足设计要求。关键词：云存储；HADOOP；高扩展分布式存储；

6、高可用集群I哈尔滨工业大学工程硕士学位论文AbstractAccompanywiththefastgrowthofnetworkandinformationtechnology,thedataisgrowingfastexceedpeople'simagination.Storagesystemsbecomemoreandmorelarge-scaleduetopeople’sincreasingdemandfortheinformationdata,thesharingofinformationresources

7、hasalsobecomemoreimportant,andthemanagementbecomesmorecomplexalso.Meanwhile,therapidgrowthofdatapostedarealchallengeforstoragesystemreliabilityandextensible.Cloudstorageisaneffectivedatastoragemethod.Thefunctionistoprovideinternetserviceforuserandstrongerstora

8、gefunctions.Firstly,basedoncloudstoragesystembothathomeandabroad,thearticleanalyzedthekeytechnologies,suchashigh-extenddistributedstorage,high-availabilitycluster,etc.Thenstudiedop