基于hadoop平台的大数据增量处理技术的研究

《基于hadoop平台的大数据增量处理技术的研究》由会员上传分享，免费在线阅读，更多相关内容在学术论文-天天文库。

1、万方数据分类号UDC密级学位论文基于Hadoop平台的大数据增量处理技术的研究作者姓名：指导教师：申请学位级别：学科专业名称：论文提交日期：学位授予日期：评阅人：丁青松高福祥教授王振华讲师东北大学计算机系统研究所．硕士学科类别：工学计算机系统结构2014年6月1日论文答辩日期：2014年6月21曰2014年7月答辩委员会主席：王波涛刑志红、王剑东北大学2014年6月万方数据AThesisinComputerArchitectureResearchonTechniquesofIncrementalProcessingforBigDataBasedon

2、HadoopPlatformByDingQingsongSupervisor：ProfessorGaoFuxiangLecturerWangZhenhuaNortheasternUniversityJune2014万方数据独创性声明本人声明，所呈交的学位论文是在导师的指导下完成的。论文中取得的研究成果除加以标注和致谢的地方外，不包含其他人己经发表或撰写过的研究成果，也不包括本人为获得其他学位而使用过的材料。与我一lq-r作的同志对本研究所做的任何贡献均己在论文中作了明确的说明并表示谢意。学位论文作者签名：了哥仫日期：加，∽．g、哆学位论文版权使用授

3、权书本学位论文作者和指导教师完全了解东北大学有关保留、使用学位论文的规定：即学校有权保留并向国家有关部门或机构送交论文的复印件和磁盘，允许论文被查阅和借阅。本人同意东北大学可以将学位论文的全部或部分内容编入有关数据库进行检索、交流。作者和导师同意网上交流的时间为作者获得学位后：半年回一年口一年半口两年口导师签名：耄张叫签字日期：C土．／∞1吨、6·认一’、’。，万方数据东北大学硕士学位论文摘要基于Hadoop平台的大数据增量处理技术的研究摘要近年来，大数据己成为科技界和企业界关注的热点，具有广阔的研究和应用前景，但面临处理时效性与数据可用性等诸多挑

4、战。大数据处理任务经常在数据变化较小的情况下不断重复运行，这是大数据处理的一个主要形式。大数据增量变化的特性表明以增量的模式进行大数据处理能够极大地提高性能。为此，本文针对如何在云环境下高效地进行增量大数据管理进行研究，侧重于大数据存储模型、并行处理模型、任务调度策略三个方面，构建了基于Hadoop平台的增量大数据处理框架。主要工作包括。(1)提出支持增量处理的大数据存储模型，为大数据并行处理提供基础保障。在Hadoop环境中对分布式文件系统进行增量存储设计，使用Rabin指纹算法实现对用户输入的数据进行基于内容的数据分块，增量处理时判断分割数据块

5、的重复性，即可实现增量处理框架高效地使用上次处理的中间结果。(2)提出适用于大数据增量处理的并行处理模型与算法，提高大数据并行处理的效率。此模型主要实现增量Map和增量Reduce模型设计，增量处理时通过判断处理的Map(Reduce)任务是否相同，实现重复使用存储服务器存储的中间结果，提高增量处理的并行处理效率。(3)提出基于负载感知的公平调度策略，合理利用资源。为平衡每个TaskTracker的工作负载，综合考虑每个运行Slaves的负载参数，通过实时监控各个Slaves的工作负载值来判断是否需要对其上的Mapper和Reducer进行任务的重

6、新分配，以此实现高效、合理地使用集群中的各种资源。总之，本文研究了基于Hadoop平台增量处理的问题，提出了新颖、有效的解决方法，解决了在原有系统中低效、耗时的问题。实验结果验证了这些方法的有效性和高效性。关键词：大数据；Hadoop；增量HDFS；增量Map／Reduce；Rabin算法万方数据东北大学硕士学位论文hbstractResearchonTechniquesofIncrementalProcessingforBigDataBasedonHadoopPlatformAbstractInrecentyears，bigdatahasbeco

7、meahottopicofscienceandbusinessandhasbroadprospectinresearchandapplication，howeveritisfacingchallengesofefficiencyandavailability．Bigdataarealwaysprocessedrepeatedlywithsmallchanges，whichisamajorformofbigdataprocessing．Thefeatureofincrementalchangeofbigdatashowsthatincremental

8、computingmodecanimprovetheperformancegreatly．Therefore，thisth