基于hadoop平台的高可用性云存储系统的设计与实现

《基于hadoop平台的高可用性云存储系统的设计与实现》由会员上传分享，免费在线阅读，更多相关内容在学术论文-天天文库。

1、硕士学位论文（工程硕士）基于Hadoop平台的高可用性云存储系统的设计与实现DESIGNANDIMPLEMENTATIONOFAHIGH-AVAILABITLITYCLOUDSTORAGESYSTEMBASEDONHADOOPPLATFORM张源悍哈尔滨工业大学2014年9月万方数据国内图书分类号：TP311.52学校代码：10213国际图书分类号：621.3密级：公开工程硕士学位论文基于Hadoop平台的高可用性云存储系统的设计与实现硕士研究生：张源悍导师：宋颖慧副教授副导师：郝宏丽工程师申请学位：工程硕士学科：软件工程所在单位：软件学院答辩日期：2014年9月授予学

2、位单位：哈尔滨工业大学万方数据ClassifiedIndex:TP311.52U.D.C:621.3DissertationfortheMasterDegreeinEngineeringDESIGNANDIMPLEMENTATIONOFAHIGH-AVAILABITLITYCLOUDSTORAGESYSTEMBASEDONHADOOPPLATFORMCandidate：ZhangYuanhanSupervisor：SongYinghuiAssociateProfessorAssociateSupervisor：HaoHongliSeniorEngineerAcademi

3、cDegreeAppliedfor：MasterofEngineeringSpeciality：SoftwareEngineeringAffiliation：SchoolofSoftwareDateofDefence：September,2014Degree-Conferring-Institution：HarbinInstituteofTechnology万方数据哈尔滨工业大学工学硕士学位论文摘要黑龙江省人力资源和社会保障厅从事社会保障和保险已经多年，依托工业和黑龙江省经济的发展，在信息化领域的建设上取得了很大的成就。现在黑龙江省人力资源和社会保障厅的社会保险业务的涵

4、盖范围已经由原来的传统“五险”扩大到包含征地失地农民养老、农村养老、城镇居民养老和医疗、个体参保及老年居民补贴的全社会保险，服务对象则由原来的仅有地市级城市的企事业单位职工扩大到县乡级别的城乡居民；因此，现实对黑龙江省人力资源和社会保障厅的行政能力要求也在提高。信息化系统依靠设备更强大的性能提升工作人员的工作效率，随着信息化的不断深入，社会保险数据的积累总量也在迅速的增长。社会保险的数据是黑龙江省人力资源和社会保障厅的最重要的数据之一，它的安全直接关系着人民的基本利益，社会的安定和谐以及社会保险业务的开展。因此，为了保证数据的安全，对于社保数据建立可靠的数据保护方案已经

5、迫在眉睫。本文通过对系统需求的全面分析和对技术实现可能性的评估，决定采用C/S体系进行系统的开发。系统使用的是java语言，采用Hadoop架构和swt编写其外壳，特别地，针对社保验证和管理系统的需要，引入了SQL解析器，既可以控制用户的使用，还可以简化进一步的开发成本。整体系统的开发是在UbuntuLinux环境下使用Eclipse进行开发，本地服务器采取Jetty，数据库由本身实现。本文的研究内容主要包括三个子系统：集群存储系统、管理员管理系统、用户服务系统。集群存储系统分为Namenode和Datanode两个模块,并且在此之上实现了高可用性的配置，对于主节点Na

6、menode增加了一个备份节点即从Namenode,以增加容错功能。当发生单点故障时，采用Paxos算法，进行从主节点Namenoded到Datanode的切换。这样系统的容灾配置可以提供高可用性的数据存储并且有防范单点故障的功能；管理员管理系统可以运行在管理员的个人电脑上从而可以让管理员登录集群，配置、监控并管理集群的状态，对集群的数据进行读写或备份还原，对集群的节点进行调配，并且管理社保用户的状态。用户服务系统是云存储的系统和用户现存的系统的对接，可以为社保终端机用户提供鉴权和社保数据的读写功能。通过对本课题的研究，已经实现了社保管理系统对存储系统的需求功能。目前系

7、统已经完成功能测试和性能测试，并在公司进行了系统的功能测试以及和原有的金保系统的集成测试，符合预期的需求。系统现已投入到生产运行当中。关键词：云存储；Hadoop；高可用性；Paxos算法；社保系统-I-万方数据哈尔滨工业大学工学硕士学位论文AbstractTheHumanResourcesandSocialSecurityDepartmentofHeilongjiangProvince,areengagedinsocialsecurityandinsuranceformanyyears.Withthedevelopmentoftheir