基于反馈的动态负载平衡调度算法在hadoop异构环境中的设计与实现

《基于反馈的动态负载平衡调度算法在hadoop异构环境中的设计与实现》由会员上传分享，免费在线阅读，更多相关内容在教育资源-天天文库。

1、南京理工大学硕士学位论文基于反馈的动态负载平衡调度算法在Hadoop异构环境中的设计与实现姓名：李元洪申请学位级别：硕士专业：计算机应用技术指导教师：张宏20120322 统、网络负载调节和容错处理等细节，降低了云计算应用设计开发的难度。型的实现框架和容错机制。针对云计算���开源平台，详细分析了其中的分布式文������蚆����计算模型，并对���平 硕士论文�����������琩������������������錮�����������������������������������������������，������������琣����������

2、��������������������．����������，��，����������������������������������������������������衜��，�������������篊��������Ⅱ 硕士论文息进行存储和处理以及从海量数据进行数据挖掘和统计分析是一件非常必要的事情。在用户数量和信息量同时增加的情况下，传统的串行处理方式在处理效率上面已经不能满足需求，于是点对点，海量文件系统和并行计算技术相继出现来解决文件存储和计算能力方面的不足，在这些技术的推动下，云计算作为一种新的计算服务被提出来，这种并行编程思想最早是在��年由�

3、�与��进行交互操作，包括文件操作，系统管理和网络管理。� 硕士论文合理分配给计算节点执行，这直接关系到���平台的整体性能和系统资源的利用情况。���默认采用先来先服务的调度方式，也就是按照作业提交的顺序来安排执行的顺序，这种调度算法缺乏相应的交互性，为解决作业调度算法的公平性和作业的计算法需要管理员对集群计算节点进行配置，了解任务的资源耗费情况和集群节点的运行情况。另外，如果作业调度算法的分配不合理，会造成集群的资源负载任务分配不均衡，整体性能和资源的利用率具有重要的意义。��本文的工作在广泛的文献调研基础上，本文详细介绍了云计算的基本概念，体系结构和开发模型

4、，对云计算的特点和应用优缺点进行了分析，对云计算的分布式并行编程模式和实现一个单词统计的示例程序。分析���平台在异构环境下对硬件资源利用情况，如何提高平台的整体性能和资源使用率是本文研究的重点。本文详细介绍了���平台的调度程序模块，重点介����������，分析了它们各自的算法思想，设计思路和应用在分析���平台现有调度算法的基础上，重点致力于解决���平台的硬件资源动态负载均衡，通过对计算能力调度算法的改进，提出了基于反馈的动态负载平衡调度算法。在该算法中，统计每一个计算节点运行任务之后的磁盘读写率，进而将作业���节点集群中的运行效率。本文设计的基于反馈

5、的动态负载平衡调度算法设计了得调度队列可以动态分配相应的计算资源，也就是说集群管理员可以通过配置文件为不同的作业队列指定不同的计算节点运行。平衡算法的效率，并与���平台提供的计算能力，先进先出和公平份额作业调度算 硕士论文法进行了对比，验证了基于反馈的动态负载平衡调度算法的有效性。本文共分为六个部分，各部分的安排如下：第二部分，介绍了并行计算的体系结构和计算模式，重点研究了云计算的基本概念，利用率和磁盘�疧读写率，最后是对调度算法的具体实现。本文提出的基于反馈的动态负载平衡调度算法与���平台的计算能力，先进先出和公平份额调度算进行了对比，证明本文提出的调度策略

6、提高了计算节点硬件资源的利用索引擎和社交网络等相关领域面临处理海量数据的需求，接着介绍了���在处理大 硕士论文��并行计算基本概念并行计算������������虺撇⑿写�怼⑵叫屑扑�一般是指许多指令得以同时进行的计算模式。简单来说，就是将一个计算任务划分给多个处理器并行来处理的一种计算模式。它的基本思想是用多个处理器去处理单个计算任务，从而获得用单处理器计算速度成倍增加的效果。在串行计算中，使用的最多的是冯诺依曼的计算机模式。一个计算任务被分解成多�在并行计算中，一个计算任务被分割成若干个独立的子任务，各个子任务之间可以并行执行不会相互影响。然后每一个子任务按

7、照串行计算模式，分解成多条指令，各个指令可以在不同的处理器上面执行，如图��所示。口口口口口口口口口口口口口口口口口口口口� 硕士论文相对于传统的串行计算，并行计算可以分成时间并行和空间并行【引。时间并行类似于流水线技术，每一个计算步骤被分解到流水线的一个基本流程；空间并行使用多个处理器，每一个处理器并发执行一部分计算任务，最后将结果合并。并行计算科学研究的是空间上的并行计算。以程序和算法设计人员的角度看，并行计算又可以分为数据并行作系统内核每一个线程执行一个分配到的任务，而这些线程则被分配到该并行计算体系的各个计算节点中去。空间上的并行导致两类并行机的产生，按照

8、麦克弗莱因