基于MapReduce的多核并行数据处理框架研究

《基于MapReduce的多核并行数据处理框架研究》由会员上传分享，免费在线阅读，更多相关内容在学术论文-天天文库。

1、独创性声明本人声明所呈交的论文是我个人在导师指导下进行的研究工作及取得的研究成果。除了文中特别加以标注和致谢的地方外，论文中不包畲其他人或集体已经发表或撰写过的研究成果，对本文的研究做出贡献的集体jf日个人均已在论文中作了明确的说明并表示了谢意．研究生签名：嗽j5日期：论文使用和授权说明本人完全了解云南大学有关保留、使用学位论文的规定，即：学校有权保留并向国家有关部门或机构送交学位论文和论文电子版；允许论文被查阅或借阅；学校可以公布论文的全部或部分内容，可以采用影印、缩印或其他复制手段保存论文．(保密的论文在解密后应遵循此规定)研究

2、生签名：坚至多’一导师签名：日期：兰：!!：塾型本人及导师同意将学位论文提交至清华大学“中国学术期刊(光盘版)电子杂志社”进行电子和网络出版，并编入CNKI系列数据库，传播本学位论文的全部或部分内容，同意按《中国优秀博硕士学位论文全文数据库出版章程》规定享受相关权益。研究生签名：～——导师签名：——日期：摘要随着“大数据”时代的来临，数据的重要性及其背后蕴含的价值日益凸显，如何更为方便而高效的对数据进行处理成为亟待解决的问题。伴随多核技术的发展与普及，多核处理器已经被广泛应用于各种桌面终端和移动终端，多核平台的出现为并行数据处理提供

3、了全新的思路和方法。本文通过对多核平台特性以及分布式环境下MapRedce并行处理模型的深入研究，分析论证了MapReduce模型运用于多核平台的可行性及有效性，提出了一种基于MapReduce的多核并行数据处理框架：ParallelMRS。本文的主要工作是：1、提出了ParallelMRS多核并行处理框架。针对多核平台共享内存的特点，通过共享哈希表的方式重构了MapReduce模型的shuffle处理过程，使其取得了更佳的时空效率。在此基础上，基于优化后的MapReduce模型提出ParallelMRS的设计方案，并给出其运行模型

4、。2、研究了ParallelMRS的关键应用接口及其实现方案。基于进程管道技术提出了Streaming应用接口，使得ParallelMRS能够无缝集成任意基于标准10的可执行程序，有效地提升了ParallelMRS并行处理框架的适应性和易用性。3、研究了ParaUelMRS的运行时性能优化。分析了ParallelMRS中动态和静态两种任务分配策略的优缺点，明确了动态分配的选择。根据Map和Reduce的运行特点，分别提出了基于反馈自适应策略和任务窃取策略的两种负载均衡算法，优化了ParallelMRS的整体加速比。针对Paralle

5、lMRS中小块内存分配频繁的问题，提出了一个适用于多线程环境的并行内存分配器。最终实验结果表明，ParallelMRS能够充分发挥多核平台的计算性能，取得较好的加速比，是一种方便而高效的开发并行处理应用的有效解决方案。关键词：ParallelMRS·MapReduce：多核；并行处理；框架．竺竺!竺一●______。-_。__。_-______。_____。_-●__________-_______________I_____--________________-。。。。。。。。。。。。。’’————————————Abstract

6、Bytheadventof”bigdata”era,thevalueofdataisbecomingmoreandmoreimportant．Howtoprocessdataconvenientlyandefficientlyismorecrucialandneedtobeconcerned．Bythedevelopmentofmulticoretechnology,multicoreCPUsarewidelyusedindesktopplatformsandmobiledevices．Themulticoreplatformspr

7、ovidenewmethodsandsolutionsforparalleldataprocessing．ThispaperanalyzesboththefeaturesofmulticoreplatformandMapReduceparallelmodel，discussthepossibilityandpracticabilityforcombiningthetwotechnologies．Then，proposesanovelMapReducebasedparalleldataprocessingframeworkonmult

8、icoreplatform，calledParallelMRS．Thispapermainlymakesfollowingworks：1．Proposingparalleldataprocessingframework：Paralle