基于mapreduce的海量关系数据处理技术设计与优化

《基于mapreduce的海量关系数据处理技术设计与优化》由会员上传分享，免费在线阅读，更多相关内容在学术论文-天天文库。

1、武汉邮电科学研究院硕士学位论文基于MapReduce的海量关系数据处理技术设计与优化DesignandOptimizationofMassiveRelationalDataProcessingTechnologyBasedonMapReduce专业：通信与信息系统研究方向：大数据与云计算导师：卢山研究生：黄奇鹏学号：20150017二〇一八年一月武汉邮电科学研究院硕士学位论文摘要随着1995年因特网向全世界发展开始，信息技术的迅猛成长，数据也呈现出“海量化”的趋势。关系数据是数据直接或间接存在着关联的体现，这些数据隐含了各种关系网络，于是人们逐渐开始关注海量的关系数

2、据的处理的研究。近几年，关于海量数据的去重、连接查询处理及其优化技术逐渐成为研究热点。为了减少海量关系数据冗余的影响，提升其连接查询的效率，本文借鉴传统海量关系数据处理技术的经验，提出基于MapReduce的海量关系数据处理系统，并对该系统设计思路、体系结构、处理流程进行了论述。首先以海量WiFi上下线日志去重处理为例，将大规模并行数据处理框架MapReduce应用于海量关系数据去重处理之中。然后设计了基于MapReduce连接查询处理方法，通过基于Reduce的连接与基于Map的连接方法解决了两表连接查询与多表连接查询的处理问题。接着对MapReduce进行了改进

3、，通过将Map阶段产生的中间结果与历史数据同时作为输入，以流的方式推送给后一个任务的Map，进而让数据在MapReduce作业间全局共享。在进入Reduce阶段前重写partition对数据重新分区进而解决了MapReduce海量上下线日志数据去重统计内存溢出的不足。同时针对关系数据连接查询任务的特点，回顾了SMapReduce框架的优化思路，在此基础上，提出了Commander连接查询处理算法。通过增加Commander节点，用于接收，存储并更新少量全局信息，全局信息经过该节点与每个Map节点通信，进而对map的数据进行过滤，避免了对无用元组的传递和排序，降低了处

4、理代价，提高了连接查询处理算法的效率。最后通过实验对传统去重技术与MapReduce以及改进系统进行去重性能对比测试，检测了去重流程的改进性能，改进系统的在海量数据的背景下，有着良好的运行效率，且避免了内存的溢出问题;同时通过实验将改进后系统分别与MapReduce、SMapReduce进行连接查询性能对比测试，进而检测连接查询的改进性能。结果表明改进框架能够有效地处理连接查询，过滤掉大量的不必要中间输出，具有良好的性能。关键词：MapReduce；数据处理；数据去重；查询处理；关系数据I武汉邮电科学研究院硕士学位论文AbstractWiththebeginning

5、oftheInternettotheworldin1995andtherapidgrowthofinformationtechnology,thedataalsoshowedatrendof"massification."Relationaldataisthedatadirectlyorindirectlyrelatedtotheexistenceofthesedataimpliedavarietyofrelationships,sopeoplebegantopayattentiontotheprocessingofmassivedataprocessing.Inr

6、ecentyears,heavydata,connectionqueryprocessingandoptimizationtechniqueshavegraduallybecometheresearchfocus.Inordertoreducetheimpactofmassdataredundancyandimprovetheefficiencyofqueryconnection,thisthesisdrawsontheexperienceoftraditionalmassdataprocessingtechnologyandputsforwardamassdata

7、processingsystembasedonMapReduce.Thedesignconcept,architectureandprocessofthesystemDiscussed.FirstofallmassiveWiFiloglinetoheavyprocessingasanexample,thelarge-scaleparalleldataprocessingframeworkMapReduceappliedtothemassiverelationaldatadeduplication.Then,themethodofqueryprocessingba