云计算环境中多mapreduce作业动态资源分配方法的研究

《云计算环境中多mapreduce作业动态资源分配方法的研究》由会员上传分享，免费在线阅读，更多相关内容在学术论文-天天文库。

1、万方数据类号一UDC密级学位论文云计算环境中多MapReduce作业动态资源分配方法的研究作者姓名：王吴指导教师：张斌教授东北大学信息科学与工程学院申请学位级别：硕士学科类别：工学学科专业名称：计算机应用技术论文提交日期：2014年6月论文答辩日期：2014年6月学位授予日期：2014年7月答辩委员会主席：马宗民评阅人：杨雷、朱红宁东北大学2014年6月万方数据AThesisinComputerApplicationTechnologyResearchonDynamicResourceAllocationMet

2、hodforMultiMapReduceJobsinCloudComputingEnvironmentByWangHaoSupervisor：ProfessorZhangBinNortheasternUniversityJune2014舢8¨¨¨●I肌7川叫叫州、_，¨¨¨(㈣9舢9⋯2川Y万方数据独创性声明本人声明，所呈交的学位论文是在导师的指导下完成的。论文中取得的研究成果除加以标注和致谢的地方外，不包含其他人已经发表或撰写过的研究成果，也不包括本人为获得其他学位而使用过的材料。与我一同工作的同志对本研究所

3、做的任何贡献均己在论文中作了明确的说明并表示谢二也思。学位论文作者签名：互更签字日期：如／垆争6目砷同学位论文版权使用授权书本学位论文作者和指导教师完全了解东北大学有关保留、使用学位论文的规定：即学校有权保留并向国家有关部门或机构送交论文的复印件和磁盘，允许论文被查阅和借阅。本人同意东北大学可以将学位论文的全部或部分内容编入有关数据库进行检索、交流。作者和导师同意网上交流的时间为作者获得学位后：半年口一年口一年半口两年口学位论文作者签名：冱关导师签名签字日期：西l啤目印目签字日期：如f≯多．彤万方数据东北大学硕

4、士学位论文摘要云计算环境中多MapReduce作业动态资源分配方法的研究摘要随着云计算技术的普及和流行，Hadoop系统成为更多用户处理大批量数据的选择。在Hadoop系统中，资源管理问题一直是该领域的研究热点问题之一。有效的资源管理，通过对资源的合理分配，不仅能够有效缩短系统的平均响应时间，提高用户的满意度，更能保证和改善系统的执行能力和交互能力，而且还能提高资源的利用率。本文在深入研究Hadoop系统的资源调度算法的基础上，针对目前Hadoop系统在资源调度方面存在的使用静态地配置Slot资源而难以有效适应

5、MapReduce作业个性化资源需求的问题，提出了一个多MapReduce作业动态资源分配方法，该方法将多MapReduce作业初始资源分配和动态重分配相结合，能够动态地配置分配给各个作业的资源，从而保证作业的完成时间目标，提高系统的资源利用率。首先，针对资源初始分配，建立作业的完成时间预测的数学模型，根据作业的完成时间目标和作业的初始化信息估计作业的资源需求，提出了作业对所得资源的用户满意度的概念，并以用户满意度公平，和系统的资源利用率最大化为目标，建立了初始的资源分配模型，并给出了求解资源分配模型的启发式算

6、法，为作业进行资源初始分配。其次，针对资源动态重分配，周期性动态地捕捉作业在执行过程中的任务剩余执行时间的变化，改进作业的完成时间预测模型，预测作业对于资源的需求变化，并感知是否有用户向系统提交新作业，提出了作业资源需求变化事件的概念，并基于作业资源需求变化事件的发生，以用户满意度公平和资源利用率为目标，为作业进行动态的资源重分配。本文在以上研究的基础上，对Hadoop的资源调度器进行改进，并指定该调度器执行了3种作业，Sort、Combine和Select，通过与这3种作业在Fair调度器下的执行状况进行作业

7、完成时间和资源利用率的对比，验证了本文提出的多MapReduce作业动态资源分配方法的有效性。关键词：Hadoop；资源管理；初始分配：动态重分配．II．万方数据东北大学硕士学位论文AbstractResearchonDynamicResourceAllocationMethodforMultiMapReduceJobsinCloudComputingEnvironmentAbstractWiththepopularityofcloudcomputingtechnology,Hadoopbecomesmoreu

8、sers’selectiontoprocessbigdata．InHadoop，resourcemanagementisalwaysoneofthehotissues．Effectiveresourcemanagement，notonlycaneffectivelyreducetheaverageresponsetimeofthesystemandimproveusersatisfac