基于mapreduce的大数据增量处理研究

《基于mapreduce的大数据增量处理研究》由会员上传分享，免费在线阅读，更多相关内容在学术论文-天天文库。

1、万方数据分类号UDC密级学位论文基于MapReduce的大数据增量处理研究作者姓名：指导教师：申请学位级别：学科专业名称：论文提交日期：学位授予日期：评阅人：王强焦明海副教授东北大学计算中心硕士学科类别：工学计算机应用技术2014年6月论文答辩日期：2014年6月21日2014年7月答辩委员会主席：于戈李金双石刚东北大学2014年6月万方数据AthesisinComputerApplicationTechnologyReseachonIncrementalProcessingBaseonMapReduceByWangQiangSuperviso

2、r：AssociateProfessorJiaoMinghaiNortheasternUniversityJune2014lIIIllllllllllllIlllIIIY2989345万方数据独创性声明本人声明，所呈交的学位论文是在导师的指导下完成的。论文中取得的研究成果除加以标注和致谢的地方外，不包含其他人己经发表或撰写过的研究成果，也不包括本人为获得其他学位而使用过的材料。与我一同工作的同志对本研究所做的任何贡献均己在论文中作了明确的说明并表示谢意。学位论文作者虢砂嚆日期：加c，f，D∥。左／学位论文版权使用授权书本学位论文作者和指导教师完

3、全了解东北大学有关保留、使用学位论文的规定：即学校有权保留并向国家有关部门或机构送交论文的复印件和磁盘，允许论文被查阅和借阅。本人同意东北大学可以将学位论文的全部或部分内容编入有关数据库进行检索、交流。作者和导师同意网上交流的时间为作者获得学位后：半年口一年口一年半口两年∥学位论文作者签名：签字日期：伽(午．翩签名溯，、勿签字日期：加f0．占．≥I瑟，汐]∥儿万方数据东北大学硕士学位论文摘要基于MapReduce的大数据增量处理研究摘要随着数据获取方式的多样性，数据挖掘和机器学习使用的数据集规模越来越大。而随着时间的推移，在大规模数据集的基础上

4、，新的数据也在不停的加入进来，同时，数据集中已有的记录也会被修改或者删除，即数据集发生增量变，由此导致上一次挖掘出的结果过时。数据集一般发生增量变化时，我们需要对整个数据集重新进行挖掘，得到实时结果，由此浪费大量的计算资源。为了提高效率，使用增量处理技术解决数据发生增量变化是一个有效的方法。增量处理技术是使用上一次计算保存的状态，只重新处理发生增量变化的数据。MapReduce是现流行的并行处理大数据的框架，由于其简单易用成为主流处理大数据的工具。但是MapReduce不支持增量处理数据，需要重新处理整个数据才能得到实时结果。在本论文，我们提出

5、增量处理技术，并在MapReduce上扩展，实现incroMapReduce计算模型。本文主要贡献如下：(1)本文提出了在key—value层面上做增量计算的方法，并设计了一种新的文件模型MRBGraph，保存细粒度的计算状态。Incr-MapReduce根据增量数据从MRBGraph文件中匹配记录，做增量计算并更新MRBGraph文件。(2)提出增量处理技术，incr-MapReduce计算模型上不但支持批处理算法做增量计算，而且支持迭代算法做增量计算。incr-MapReduce做迭代算法的增量计算时，从上一次计算的收敛结果开始做增量迭代计

6、算，同时使用变化传播控制技术，能有效控制下一次迭代参与增量计算的记录的范围。(3)由于incr-MapReduce在做增量计算时，MRBStore需要频繁从MRBGraph文件中读取数据和更新MRGraph文件。本文使用了索引和缓冲优化技术，减少操作MRBGraph文件的I／O次数。本文使用真实数据集，在incr-MapReduce、MapReduce、Haloop和iMapReduce四个框架上执行PageRank、GIMV、KMeans和Apriori算法。展示incr-MapReduce的性能。同时通过实验验证incr-MapReduce

7、的优化成果。关键字：MapReduce：MRBGraph：迭代计算：增量计算；增量迭代计算·II·万方数据东北大学硕士学位论文AbstractReseachonIncrementalProcessingBaseonMapReduceAbstractWiththediversityofdataaccess，thescaleofdatasetthatdataminingandmachinelearningusebecomemoreandmorelarge．Astimegoeson，onthebasisoflargedatasets，thenewda

8、taisalsoconstantlyadded，andatthesametime，theexistingrecordsinthedatasetmayb