基于预测与预约机制的网格任务调度中间件研究

《基于预测与预约机制的网格任务调度中间件研究》由会员上传分享，免费在线阅读，更多相关内容在学术论文-天天文库。

1、上海交通大学硕士论文1.2本文研究内容与篇章安排目前已有的各项针对资源管理的研究通常都只是面向某一种特殊的服务应用，例如网格资源预约体系通常是用于有特殊QOS要求的计算服务，资源预测技术常用于网格任务调度体系，网格资源副本备份技术多见于数据网格以及某些大型计算网格。但它们独立运行时并不能充分利用网格资源，同时也还无法完全适应网格的种种特性。针对以上问题，本文试图将几种技术进行整合，做了如下一些工作：首先为了进行资源的预约调度和预约分配，必须要有一套行之有效的方法对资源的未来状况进行预测。本文参考了国内外现

2、有研究的优点与不足，并在此基础上提出了一种预测资源性能的方法，该方法在第二章中将会详述。第三章试图将网格资源预约分配与网格资源的副本管理技术结合，并参照机场订票机制的预留池原理，在此基础上提出一个适合网格要求的，能够充分利用网格资源优势的资源管理统一体系，并给出了相应的资源预约协商语言的定义。第四章针对当出现预约和副本技术都无法避免的资源失效情况，结合了网格任务的调度技术，给出了一种基于激励机制的故障恢复算法来确保网格资源的优化利用。最后在第五章中给出了基于以上思想和技术的中间件的系统设计与实现。 一个简

3、单的应用举例如下：在一个由许多子服务组成的长服务组合中，一个 子服务资源获取失败会导致整个组合服务的失败，大量浪费网格资源；而由于网 格动态性，故障易发性以及时延性，这种资源失败可能常常发生，这时就应当引 入网格资源预约体系，预先将所需资源定好，从而降低无法获取资源的风险；这 种预约仍然未必保险，因为所需资源所在节点可能故障或断开，因此还应该引入 备份机制，按照一定策略对于服务所需资源进行有选择的备份；而这种备份策略 的选择反过来又可以根据资源预约的早晚，以及预约资源的子服务处于整个服务 组合中的哪一环进

4、行更改。一个及时有效的故障检测模块也是必须的，及早的发 现资源的失效可以预先对资源副本管理策略进行相应调整。11上海交通大学硕士论文第二章理论基础1.2网格计算高性能计算的应用需求使计算能力不可能在单一计算机上获得，因此，必须通过构建“网络虚拟超级计算机”或“元计算机”来获得超强的计算能力。20世纪90年代初，根据Internet上主机大量增加但利用率并不高的状况，美国国家科学基金会(NFS)将其四个超级计算中心构筑成一个元计算机，逐渐发展到利用它研究解决具有重大挑战性的并行问题。它提供统一的管理、单一的

5、分配机制和协调应用程序，使任务可以透明地按需要分配到系统内的各种结构的计算机中，包括向量机、标量机、SIMD和M工MD型的各类计算机。NFS元计算环境主要包括高速的互联通信链路、全局的文件系统、普通用户接口和信息、视频电话系统、支持分布并行的软件系统等。元计算被定义为“通过网络连接强力计算资源，形成对用户透明的超级计算环境”，目前用得较多的术语“网格计算(gridcomputing)[1]”更系统化地发展了最初元计算的概念，它通过网络连接地理上分布的各类计算机(包括机群)、数据库、各类设备，形成对用户相对

6、透明的虚拟的高性能计算环境，应用包括了分布式计算、高吞吐量计算、协同工程和数据查询等诸多功能。网格计算被定义为一个广域范围的“无缝的集成和协同计算环境”。网格计算模式已经发展为连接和统一各类不同远程资源的一种基础结构。1.3网格体系结构网格体系结构是关于如何构建网格的技术，IanFoster将网格体系结构定义为“划分系统基本组件，指定系统组件的目的与功能，说明组件之间如何相互作用的技术”。到目前为止，主流的网格体系结构主要有三个：第一个五层沙漏结构（Five-LevelSandglassArchitect

7、ure）；第二个是在以IBM为代表的工业界的影响下，考虑到Web技术的发展与影响后，结合五层沙漏结构和WebService提出的OGSA（OpenGridServicesArchitecture，开放网格服务体系结构）；第三个是由Globus联盟、IBM和HP于2004年初共同提出的WSRF（WebServiceResourceFramework，Web服务资源框架）。（1）五层沙漏结构12上海交通大学硕士论文五层沙漏结构是由IanFoster等提出的一种具有代表性的网格体系结构，其影响十分广泛，它的特点

8、就是简单，主要侧重于定性的描述而不是具体的协议定义，容易从整体上进行理解。在五层沙漏体系结构中，最基本的思想就是：以协议为中心，强调服务与API和SDK的重要性。五层沙漏结构的设计原则就是要保持参与的开销最小，即作为基础的核心协议较少，类似于OS内核，以方便移植。另外，沙漏结构管辖多种资源，允许局部控制，可用来构建高层的、特定领域的应用服务，支持广泛的适应性。五层沙漏结构根据该结构中各组成部分与共享资源的距离，将对共享资源进行