基于hadoop的云存储系统的研究与应用

《基于hadoop的云存储系统的研究与应用》由会员上传分享，免费在线阅读，更多相关内容在学术论文-天天文库。

1、电子科技大学UNIVERSITYOFELECTRONICSCIENCEANDTECHNOLOGYOFCHINA硕士学位论文MASTERTHESIS论文题目基于Hadoop的云存储系统的研究与应用学科专业计算机应用技术学号201121060477作者姓名陈国俊指导教师杨波教授分类号密级注1UDC学位论文基于Hadoop的云存储系统的研究与应用（题名和副题名）陈国俊（作者姓名）指导教师杨波教授电子科技大学成都（姓名、职称、单位名称）申请学位级别硕士学科专业计算机应用技术提交论文日期2014.03.26论文答辩日期2014

2、.05.05学位授予单位和日期电子科技大学2014年6月日答辩委员会主席评阅人注1：注明《国际十进分类法UDC》的类号。THERESEARCHANDAPPLICATIONOFCLOUDSTORAGESYSTEMBASEDONHADOOPAMasterThesisSubmittedtoUniversityofElectronicScienceandTechnologyofChinaMajor:ComputerAppliedTechnologyAuthor:ChenGuojunAdvisor:ProfessorYangB

3、oSchool:SchoolofComputerScience&Engineering独创性声明本人声明所呈交的学位论文是本人在导师指导下进行的研究工作及取得的研究成果。据我所知，除了文中特别加以标注和致谢的地方外，论文中不包含其他人已经发表或撰写过的研究成果，也不包含为获得电子科技大学或其它教育机构的学位或证书而使用过的材料。与我一同工作的同志对本研究所做的任何贡献均已在论文中作了明确的说明并表示谢意。作者签名：日期：年月日论文使用授权本学位论文作者完全了解电子科技大学有关保留、使用学位论文的规定，有权保留并向国家

4、有关部门或机构送交论文的复印件和磁盘，允许论文被查阅和借阅。本人授权电子科技大学可以将学位论文的全部或部分内容编入有关数据库进行检索，可以采用影印、缩印或扫描等复制手段保存、汇编学位论文。（保密的学位论文在解密后应遵守此规定）作者签名：导师签名：日期：年月日摘要摘要近年来，云计算和软件即服务（SaaS）的受关注度越来越高，云存储成为信息存储领域的一个研究热点。大多数现有的云存储系统是建立在分布式文件系统之上的，其中以HDFS分布式文件系统最被行业所接受，因为可以在其存储的海量数据上应用MapReduce编程模型进行数

5、据挖掘，从而更好地发现数据中蕴含的潜在价值的信息。但是，目前HDFS分布式文件系统中存在着NameNode单点故障、备份节点数等问题，从而影响云存储系统的高可用性；并且关联规则挖掘算法中的并行化实现也有待进一步改进和优化。因此，针对以上问题，本文主要完成了以下工作：分析HDFS中NameNode相关的源码，并研究其工作流程和工作机制，提出基于Heartbeat+AvatarNode的HDFS高可用性方案，该方案具有热备和自动切换的特点。并分析AvatarNode的primary和standby角色相关源码，研究其工作

6、流程和工作机制，提出SecondaryAvatarNode方案，从而增加一个轻量级备份节点，进一步提高云存储系统的高可用性。基于CLOSET+算法对PFP算法在挖掘闭频繁项集方面的不足之处进行优化，主要包括：对集群分组方法进行优化使得每个事务组分配得到的事务尽可能的平均，从而使每个并行的任务达到负载均衡；在挖掘的每一次递归过程中，针对稀疏、稠密数据集投影不同的FP-Tree结构，采用自底向上和由上向下相结合的方法，提高挖掘闭频繁项集的效率；通过使用超集检查的性质，提出基于滑动窗口的方式过滤局部的闭频繁项集，从而得到完

7、备的闭频繁项集。通过搭建Hadoop集群实验平台，验证基于Heartbeat+AvatarNode的高可用性方案和SecondaryAvatarNode方案的有效性，同时分析基于CLOSET+算法对PFP算法在挖掘闭频繁项集方面进行改进和优化后的算法的效率，验证其基于Hadoop架构的挖掘闭频繁项集算法具有良好的扩展性。关键词：HDFS，高可用性，MapReduce，闭频繁项集IABSTRACTABSTRACTInrecentyears,withtheriseofcloudcomputingandsoftwareas

8、aservice(SaaS),cloudstoragebecomesaresearchhotspotinthefieldofinformationstorage.Manyexistingcloudstoragesystemsarebuiltondistributedfilesystem,whileHDFSismostlyacceptedbyin