基于YARN框架下并行化计算的研究.pdf

《基于YARN框架下并行化计算的研究.pdf》由会员上传分享，免费在线阅读，更多相关内容在学术论文-天天文库。

1、＇＇＂方：＇苗Ｖ；务类号．密级：－ＵＤＣ编号１０７３６．三巧卿少聲基于ＹＡＲＮ框架下并行化计算的ｉ麵ｅＴＸｍ屬BasedontheresearchofparallelcomputingframeworkofYARNZhuminming郑重声明本人的学位论文是在导师指导下独立撰写并完成的，学位论文没有票１｜窃、抄袭、造假等违反学术道德、学术规范和侵权行为，否则，本人愿意承担由此而产生的法律责任和法律后果，特此郑重声明。学位论文作者（签名

2、＞皆年次月之日－ｆ■学位论文使用授权书、本论文作者完全了解学校关于保存使用学位论文的管理办法及规定，即学校有权保留并向国家有关部円或机构送交论文的复印件和电子版，允许论文被查。阅和借阅，接受社会蛇督本人授权西北师范大学可臥将本学位论文的全部或部分内容编入学校有关数据库和收录到《中国博±／硕古学位论文全文数据摩》进行信息服务，也可臥采用影印、缩印或扫描等复制手段保存或汇编本学位论文。一。本论文提交□当年／□年／□两年／ＤＨ年后，同意发布一若不选填则视为年

3、后同意发布。注：保密学位论文，在解密后适用于本授权书。＾作者签名：导师签名、。，。、年月日．西北师范大学研究生学位论文作者信息论文题目基于YARN框架下并行化计算的研究姓名朱敏明学号2013201206专业名称计算机技术答辩日期2015年5月14日联系电话E_mail通信地址(邮编)备注：摘要Apache开源组织开发的Hadoop框架中最核心的设计就是MapReduce编程模型和HDFS分布式文件系统。MapReduce为海量的数据提供了并行化计算，而HDFS为海量

4、的数据提供了存储。MapReduce是一种并行编程模型，它主要用于海量数据集的并行运算。在最初推出的几年里，这种并行编程模型取得了众多的成功案例，在业界也得到了广泛的支持和肯定，但是随着分布式系统集群的规模不断增长和其他工作负荷的剧增，原框架的问题也就渐渐浮出水面。MapReduce编程模型在现有的机制下需要对它做出大规模的调整来修复其在内存消耗，扩展性，线程模型，可靠性和性能上的缺陷。在过去的几年中，Hadoop团队做了一些bug的修复，但是随着修复的成本越来越高，这表明对原框架作出改变的难度越来越

5、大。所以Apache开源组织为了促进Hadoop框架走的更远，在根本上解决影响MapReduce性能的关键性问题，从0.23.0版本开始，对旧的MapReduce框架进行完全重构，在结构上发生了根本性的变化。Apache开源组织将重构后的MapReduce框架命名为Hadoop2.0或者叫YARN。本文通过详细的阐述了MapReduce的编程思想，工作原理，具体步骤和方法。接着又详细的阐述了YARN编程模式，以及YARN框架机构，工作原理，具体步骤和方法。并将YARN与MapReduce进行了比较，研

6、究了MapReduce的不足和缺点，并概括了YRAN与MapReduce的不同之处。最后，通过搭建Hadoop集群环境，再基于YARN框架进行了MapReduce并行计算的实验，通过实验证明了，基于YARN框架下并行计算的高效性，可靠性。关键词:Hadoop；MapReduce；YARN；ID3；并行计算IAbstractThecoreoftheHadoopframeworkoftheApacheframeworkistheMapReduceprogrammingmodelandtheHDFSdist

7、ributedfilesystem.MapReduceprovidestheparallelcomputationforthemassivedata,whileHDFSprovidesthestorageforthemassivedata.MapReduceisakindofparallelprogrammingmodel,itismainlyusedforparallelcomputingofhugeamountsofdatasets.Ininitiallylaunchedafewyears,thi

8、skindofparallelprogrammingmodelhasachievedmanysuccessfulcases,intheindustryalsohasbeenwidelysupportandaffirmation,butasthescaleofthedistributedsystemclustergrowthandasurgeinotherworkingload,theoriginalframeworkofproblemsaregradua