云计算环境下基于mapreduce的资源调度模型和算法研究

《云计算环境下基于mapreduce的资源调度模型和算法研究》由会员上传分享，免费在线阅读，更多相关内容在学术论文-天天文库。

1、0}▲、分类号UDC密级单位代码lOl51云计算环境下基于MapReduce的资源调度模型和算法研究陶韬指导教师刘朝斌职称学位授予单位大连海事大学副教授申请学位级别工程硕士学科(专业)计算机技术论文完成日期2012年5月答辩日期2012年6月答辩委员会主席Ir，◆J土●●rMapReduce—basedResourceschedulingModelandAlgorithmResearchincloudenvironmentAthesisSubmittedtoDalianMaritimeUniversityInpartialfulfillmentoftherequir

2、ementsforthedegreeofMasterofEngineeringTao(ComputerTechnology)ThesisSupervisor：AssociateProfessorZhaobinLiuJune2012Ⅲ7Ⅲ9㈣9Ⅲ8㈣0Ⅲ2肌Y◆。弋r★；一◆≯I夕。I■帆’0l大连海事大学学位论文原创性声明和使用授权说明原创性声明本人郑重声明：本论文是在导师的指导下，独立进行研究工作所取得的成果，撰写成博／硕士学位论文“云让篡巫撞工基±丛塑B曼垂坠盟的资透调廑搓型塑篡洼硒究"。除论文中已经注明引用的内容外，对论文的研究做出重要贡献的个人和集体，均已在

3、文中以明确方式标明。本论文中不包含任何未加明确注明的其他个人或集体已经公开发表或未公开发表的成果。本声明的法律责任由本人承担。，，hl'f-f学位论文作者签名：!兰监鱼学位论文版权使用授权书本学位论文作者及指导教师完全了解大连海事大学有关保留、使用研究生学位论文的规定，即：大连海事大学有权保留并向国家有关部门或机构送交学位论文的复印件和电子版，允许论文被查阅和借阅。本人授权大连海事大学可以将本学位论文的全部或部分内容编入有关数据库进行检索，也可采用影印、缩印或扫描等复制手段保存和汇编学位论文。同意将本学位论文收录到《中国优秀博硕士学位论文全文数据库》(中国学术期刊(

4、光盘版)电子杂志社)、《中国学位论文全文数据库》(中国科学技术信息研究所)等数据库中，并以电子出版物形式出版发行和提供信息服务。保密的论文在解密后遵守此规定。本学位论文属于：保密口在年解密后适用本授权书。不保密瓯／；请在以上方框内打··√，，)⋯一：哺⋯嘲耷仍，◆鼻，，1^■-似}i0中文摘要摘要MapReduce作为一种新兴起来的云计算编程模型，在大规模密集型数据的应用方面，如网页检索，科学计算与数据挖掘等，得到了广泛的应用。MapReduce库为设计者提供了～种硬件透明的开发坏境，使其方便存储和使用，简化了以往并行计算架构对底层操作困难等问题，基于MapRedu

5、ce的系统自身有着独立的存储，高扩展性以及良好的容错处理机制等优点。尽管MapReduce自身有着以上优势，但由于现阶段的机制并没有成熟，资源调度一直以来成为限制其执行效率的最大问题之一。面向异构环境下的设备和应用情况，采用Hadoop开源实现，本文主要针对MapReduce机制中存在的不合理资源调度问题进行了归总，并提出相应的改进思想。主要研究内容如下：(1)在MapReduce原始的同构环境资源调度方式基础上，提出了动态资源比例分配算法(DPRS)，动态监控节点的负载情况，合理分配任务相应的资源，改进了原始机制处理异构环境下的Reduce任务调度不均衡的问题。(

6、2)为了让输入数据尽可能本地化执行，采用了局部能力优化分配模型(LCPO)，省去了原始备份冗余所带来的开销，减少了网络传输流量，提高了Map任务的执行效率。(3)为了提高异构环境中Reduce落后节点的备份执行效率，并解决原始机制中的落后节点误判的问题，提出了快速长任务备份算法(FLTB)。(4)对于输入文件分割的数据块分布到各个Map任务中产生的不均衡问题，本文用预处理方式来实现启发式的数据分割，一定程度上改善了原有数据在异构环境下的任务分配不均衡问题。关键词：MapReduce；动态资源比例分配；局部能力优化分配；快速长任务备份；启发式数据分割◆．小；^‘¨◆聱

7、英文摘要ABSTRACTAsallemergingcloudcomputingmodel，MapReducehasbeenwidelyusedinthelarge-scaleintensivedataapplications，suchaswebcrawling，scientificcomputinganddatamining，etc．MapReducelibraryprovidesdesigners研tllatransparenthardwaredevelopmentenvironment，makingiteasytostoreanduse，andsimplif