基于hadoop的大数据存储关键技术研究

《基于hadoop的大数据存储关键技术研究》由会员上传分享，免费在线阅读，更多相关内容在学术论文-天天文库。

1、．．；八‘Ｖ奸ｉ＾％．梦＾－，／．Ｊ－＼＞．ｖ：１：／義ＴｒＰ：：Ｉ甲重ｉ１＾Ｉ－霍，。．。Ｉ＼．＞Ｖ，／．Ｖｒ、．讓聲，，矣六Ｃ六？＾、寥，篇ｉ．．．华北电力大学硕±学位论文原创性声明本人郑重声明：此处所提交的硕±学位论文《基于Ｈａｄｏｏｐ的大数据存储关键技术研巧》，是本人在导师指导下，在华北电力大学攻读硕±学位期间独立进行研巧工作所取得的成果。据本人所知，论文中除己注明部分外不包含他人已发表或撰写过的研究成果。对本文的研究工作做出重要贡献的个人和集体，均已在文中Ｗ明确方式注明。本声明的法律

2、结果将完全由本人承捏。作者签名：軟睾＾日期：始与月ｆ《日寺华北电力大学硕±学位论文使用授权书《基于Ｈａｄｏｏｐ的大数据存储关键技术研究》系本人在华北电为大学攻读硕止学位期间在导师指导下完成的硕ｉ学位论文。本论文的研巧成果归华北电为大。学所有，本论文的研究内容不得其它单位的名义发表本人完全了解华北电力大学关于保存、使用学位论文的规定，同意学校保留并向有关部口送交论文的复。印件和电子版本，允许论文被查阅和借阅本人授权华北电力大学，可采用影印－、缩印或其他复制手段保存论文，可公布论文的全部或部分内容。本学位论文属于

3、（请在Ｗ上相应方框内打＂Ｖ＂）：不保密□，在年解密后适用本授权书保密ｆｅｆ作者签名：曰期：＾＾年２＾月曰导师签名：更才祭曰期：（年如曰／居国内图书分类号：TP399学校代码：10079国际图书分类号：004密级：公开硕士学位论文基于Hadoop的大数据存储关键技术研究硕士研究生：卢艳艳导师：王振旗教授申请学位：工学硕士专业领域：计算机应用技术培养方式：全日制所在学院：控制与计算机工程学院答辩日期：2016年3月授予学位单位：华北电力大学ClassifiedIndex:TP399U.D.C:004ThesisfortheMa

4、sterDegreeResearchonKeyTechnologyofBigDataStoragebasedonHadoopCandidate：LuYanyanSupervisor：Prof.WangZhenqiSchool：SchoolofControlandComputerEngineeringDateofDefence：March,2016Degree-Conferring-Institution：NorthChinaElectricPowerUniversity华北电力大学硕士学位论文摘要随着大数据时代的到来，传统的数据仓库已经不能满足日

5、益增长的数据存储需求，Hadoop平台的出现很好的解决了这一问题。Hadoop能够部署在廉价的集群上，凭借其开源、扩展性强、容错性好等优势，已成为目前大数据存储的主流平台，国内外的许多知名企业都在Hadoop之上搭建自己的大数据处理系统。大数据存储是进行大数据分析、挖掘价值信息前非常重要的一步，因此目前学术界正纷纷开展大数据存储方面的研究。本文首先对选题的背景及意义进行了介绍，研究了目前国内外大数据及Hadoop的发展现状，指出了大数据技术方面存在的一些问题；其次，对Hadoop的原理与运行机制进行了研究，介绍了Hadoop核心组件HDFS(Ha

6、doopDistributedFileSystem)和MapReduce的相关知识；然后采用分层的形式梳理了基于Hadoop的大数据处理架构，重点研究了数据存储层的相关技术，如大数据预处理技术和大数据容错技术等；之后，设计了一个基于Hadoop的两级重复数据删除存储架构HTDDSA，该架构在对重复数据进行文件级与数据块级重复数据删除操作的同时还对HDFS小文件存储性能进行了改进。对于HTDDSA，重点研究了它的组成、元数据定义、两级重复数据删除策略、小文件合并策略和文件读取流程；最后，搭建了Hadoop平台，对HTDDSA性能进行了测试，实验结果

7、表明HTDDSA能够获得较高的重删率，小文件写入、读取时间与HDFS相比下降许多。关键词：Hadoop；大数据；存储技术；存储架构I华北电力大学硕士学位论文AbstractWiththearrivaloftheeraofbigdata,thetraditionaldatawarehousecannotmeetthegrowingdemandfordatastorage,theemergenceoftheHadoopplatformisagoodsolutiontothisproblem.Hadoopcanbedeployedonthecheapc

8、luster,withitsopensource,strongscalabilityandfaulttolerance,ithasbec