mapreduce性能的分析和优化

《mapreduce性能的分析和优化》由会员上传分享，免费在线阅读，更多相关内容在学术论文-天天文库。

1、分类号学号UM200971593学校代码10487密级硕士学位论文MapReduce的性能分析与优化学位申请人：何一舟学科专业：通信与信息系统指导教师：余鑫答辩日期：2012年1月9日AThesisSubmittedinPartialFulfillmentoftheRequirementsfortheDegreeofMasterofEngineeringPerformanceAnalysisandOptimizationofMapReduceCandidate:HEYizhouSpeciality:CommunicationandInformationSys

2、temSupervisor:YUXinTHuazhongUniversityofScience&TechnologyWuhan430074,P.R.ChinaNovember,2011独创性声明本人声明所呈交的学位论文是我个人在导师指导下进行的研究工作及取得的研究成果。尽我所知，除文中已经标明引用的内容外，本论文不包含任何其他个人或集体已经发表或撰写过的研究成果。对本文的研究做出贡献的个人和集体，均已在文中以明确方式标明。本人完全意识到本声明的法律结果由本人承担。学位论文作者签名：日期：年月日学位论文版权使用授权书本学位论文作者完全了解学校有关保留、使用学位

3、论文的规定，即：学校有权保留并向国家有关部门或机构送交论文的复印件和电子版，允许论文被查阅和借阅。本人授权华中科技大学可以将本学位论文的全部或部分内容编入有关数据库进行检索，可以采用影印、缩印或扫描等复制手段保存和汇编本学位论文。保密□，在年解密后适用本授权书。本论文属于不保密□。（请在以上方框内打“√”）学位论文作者签名：指导教师签名：日期：年月日日期：年月日华中科技大学硕士学位论文摘要随着互联网的兴起与日益激增的数据处理需求，云计算以其低廉的成本，强大的运算存储能力与高可靠性等众多优良特性逐渐受到各大IT企业的重视。MapReduce是云架构的编程模型，

4、用以在集群上分布式地执行用户提交的作业，其作业调度与执行性能成为使用者关注的重点。本文对Hadoop平台MapReduce编程模型的多个优化方向进行了细致地研究。在对目前国内外关于MapReduce编程模型的性能优化技术进行分析的基础上，首先给出了多用户组使用环境下，支持作业类型划分的多队列调度策略。调度器通过划分作业等待队列和作业执行队列的方式，实现了二级调度；通过多个作业队列的方式管理多个用户组；作业队列的计算资源允许在闲置时被其它作业队列占用，以避免资源浪费；被占用的资源可以在作业队列需要时被回收，回收过程支持任务抢占，并通过“共享队列列表”和“非共享

5、队列列表”的逻辑划分防止乒乓效应的产生。调度器同时支持作业类型进行调度，根据节点的负载情况，灵活地分配不同类型的作业以提高节点的硬件利用率，加快作业的响应速度。本文研究了提升Reduce任务网络性能的优化方法。通过在Map任务所在的节点合并输出文件，使得输出数据更紧凑，减少了本地临时文件的文件数，从而增大了单个输出文件的大小。在Reduce任务的输入数据本地化过程中，通过长连接从Map任务所在的节点获取输出文件，减小了网络连接数，并提高了网络I/O的性能。本文提出了对MapReduce编程模型进行性能分析的方法和分析指标。通过作业生命周期，任务的吞吐量，和模

6、型中关键函数的运行情况来衡量编程模型的性能。最后就本文研究的优化技术进行了实现和测试分析。关键词：云计算MapReduce调度策略性能分析I华中科技大学硕士学位论文AbstractWiththeincreasingpopularityoftheInternetandproliferationofdataprocessingrequirements,cloudcomputing,withitscosteffectiveness,powerfulcomputingandstoragecapacity,goodsecurity,andmanyotherfinefe

7、aturesarisesincreasinginterestofmajorITcompanies.MapReduceisaprogrammingmodelofcloudinfrastructurefordistributedexecutionofthejobssubmittedbyusersonthecluster.Itsperformanceonjobschedulingandexecutionattractstheattentionofusers.Inthisdissertation,someoptimizingdirectionstoimproveth

8、eperformanceofMapReduceare