基于mapreduce的关系数据联机分析处理技术研究

《基于mapreduce的关系数据联机分析处理技术研究》由会员上传分享，免费在线阅读，更多相关内容在学术论文-天天文库。

1、AThesisSubmittedinPartialFulfillmentoftheRequirementsfortheDegreeofMasterofEngineeringResearchonOnlineAnalysisofLarge-ScaleRelationalDatasetsUsingMapReduceCandidate:ZhangDongjieMajor:ComputerArchitectureSupervisor:Prof.JinHaiHuazhongUniversityofScience&TechnologyWuhan

2、430074，P.R.ChinaJanuary,2012独创性声明本人声明所呈交的学位论文是我个人在导师指导下进行的研究工作及取得的研究成果。尽我所知，除文中已经标明引用的内容外，本论文不包含任何其他个人或集体已经发表或撰写过的研究成果。对本文的研究做出贡献的个人和集体，均已在文中以明确方式标明。本人完全意识到本声明的法律结果由本人承担。学位论文作者签名：日期：年月日学位论文版权使用授权书本学位论文作者完全了解学校有关保留、使用学位论文的规定，即：学校有权保留并向国家有关部门或机构送交论文的复印件和电子版，允许论文被查阅和借阅。本

3、人授权华中科技大学可以将本学位论文的全部或部分内容编入有关数据库进行检索，可以采用影印、缩印或扫描等复制手段保存和汇编本学位论文。保密□，在年解密后适用本授权书。本论文属于不保密□。（请在以上方框内打“√”）学位论文作者签名：指导教师签名：日期：年月日日期：年月日摘要随着数据量的不断增长，关系数据分析系统面临着可扩展性和查询性能的挑战，许多查询任务都必须通过使用大规模的集群实现并行处理才能获得较好的查询响应时间。面对大数据处理的需求，并行数据库系统实现了高效的查询性能，但是难以扩展；而现有的基于MapReduce的数据分析系统虽然

4、具有高可扩展性和容错性，但是查询效率较低。基于MapReduce的关系数据联机分析系统Alovera有效地解决了上述问题，实现了对大规模关系数据的高效分析。该系统通过使用MapReduce模型整合数据库集群，实现MapReduce框架和数据库系统对查询任务的共同执行。针对关系数据分析任务的特点，Alovera系统从数据的存储方式、查询计划和查询执行三个方面进行优化。系统使用面向列的关系数据存储方式，在查询执行时动态地进行数据导入。通过基于查询的数据导入方式，系统生成优化的查询计划，将尽可能多的查询任务分配给数据库执行。此外，系统对

5、MapReduce框架进行了扩展，使得数据在MapReduce作业内部和作业之间以流的方式被处理，实现了查询任务的流式处理。通过上面的改进和优化，Alovera系统实现了高可扩展性和查询的高效性。通过在相同的数据集和环境中对Alovera系统和基于MapReduce框架的数据分析系统Hive、HadoopDB进行一系列的对比测试，结果表明Alovera系统的查询性能普遍优于其它的两个系统，特别是在选择和聚集查询上系统的查询响应时间远优于Hive和HadoopDB系统。关键词：大规模数据分析，MapReduce，关系数据，列式存储，

6、流式处理IAbstractAstheamountofdatathatneedstobeanalyzedisexploding,relationaldataanalysissystemisfacingthechallengeofscalabilityandhighperformance.Togetresultsinareasonabletime,manyqueriesneedtobeperformedparallelwithverylargescalecluster,evenforverysimplyqueries.Consider

7、ingtheBigDataprocessing,theparalleldatabasesystemshavehighperformancebuthardtoscale,meanwhile,mostexistingsystemsthatbasedonMapReduceframeworkcanachievehighscalabilityandfaulttolerancebutnotefficient.Alovera,ascalableandefficientrelationaldataanalysissystemthatbasedon

8、MapReduce,attemptingtoarchivethehighperformancewhile,atthesametime,keepthescalabilityandfaulttolerance.Togaintheparallelcomp