一种低开销机群负载监视方法

《一种低开销机群负载监视方法》由会员上传分享，免费在线阅读，更多相关内容在行业资料-天天文库。

1、第一章引言第一章引言机群技术是近几年新兴起的一项高性能计算技术。机群系统是一个使用网络互联的高性能并行计算平台；它主要有两个组成部分，结点和互联网络。结点可以是PC机，工作站，服务器或者SMP等。每个结点都有自己的存储器、I／o设备和操作系统。机群系统可以通过以太网、令牌环网等互连起来，也可以通过高速以太网、交换式以太网、FDDI和ATM等网络互连起来；为了达到较高的性能还可以使用专用的高性能网络。机群在工作中像一个统一的整合资源，所有结点使用单一界面，对用户提供低价高效的高性能环境和快速可靠的服务。因为机群系统中存在着大量的结点及

2、部件，为了提高机群的利用率、保证系统的可靠性，必须对机群系统各个结点进行监视和控制。在实际应用中，～方面要对机群系统进行监视，以获得系统中每个结点的cPU负载、内存使用情况、网络设备的吞吐情况、各个进程的详细信息等；另一方面，需要对机群系统运行的各种并行程序进行监视以获得并行程序的状态信息。传统的对机群系统的监视方法是通过Telnet远程登录到某个结点上，运行结点监视程序实现监视，或者通过命令行的输入实现控制。随着机群系统规模的扩展，传统的方法显得异常繁琐，主要缺点如下：1．管理员往往因为在机群各结点之间的频繁登录，导致当前登录结点

3、和其他结点产生混淆，结果使本应在其他结点上执行的命令在当前结点上执行，从而导致不可预测的甚至毁坏性的后果。如错误地删除重要文件，使结点无法正常运行。2．当管理员在异地时，传统方法变得更为麻烦，因为结点机没有对外的IP地址，管理员必须首先登录到监控机，然后再从监控机登录到结点机上。3．Telnet本身采用明文传输，因此这种方法并不安全。因此需要设计一个具有单一映像的监视和控制系统，方便系统管理员对整个机群系统进行监控，并根据不同的需要对整个系统的性能进行评价，或者根据系统的性能状况来调整系统配置。此外，监控系统还需提供远程访问服务的功

4、能，以帮助系统管理员在异地对机群系统的运行状况进行监视，同时为以后开发基于网格(机群的机群)的监控系统做好技术储备。从另一个方面来说，对并行程序的监视也是非常必要的：并行程序的各种状态在物理上是分散的，不容易采集、集中分析；而且并行程序运行会产生大7第一章引苦量的数据，这给调试带来了巨大的困难。并行程序在并行机平台上运行的时候，执行效率并不能随着机群规模的扩大而无限制提高。并行程序的加速比除了受到阿姆德尔定律的影响外，还受程序设计的好坏，以及硬件平台的影响。使用监视软件实时采集关于并行程序的各种状态和参数，有助于程序员及时发现并行程

5、序运行的瓶颈和影响程序运行的症结所在，有助于并行程序的执行效率的提高，有助于设计出结构合理、高效运行的并行程序[1]。综上所述，机群监视软件的设计和使用对于提高机群的利用率、保证系统的可靠性和并行程序的设计、调试和优化是非常必要的。目前，监控系统己成为机群系统的一个重要组成部分。管理员通过监控系统得到具有单一系统映像的机群系统；通过该单一系统映像可以了解整个机群的运行状况，并且对机群系统中的某些结点进行控制。目前，监视工具的硬件方法实现和混合方法实现正在研究之中，但对于机群服务器的监控，主要还是采用机群监控软件的方式来实现。国内外有

6、许多针对机群系统的监控系统，如NwPerf，G锄西ia，Nept嘶e[2】等。在机群系统中，一般的结点(比如工作站)是作为一个独立的系统工作的，而不是作为一个工作站机群的一部分，所以监视机群系统是一个繁重的任务。一般的监视方法是分别采集每个结点的状态信息，然后集中进行分析和可视化处理，通过GUI(图形用户界面)来监视整个机群系统的行为。监视软件的引入不可避免地给机群系统带来了一些负面影响。因为使用监视软件必然会在系统上执行一些软件指令，给系统带来额外的负担。比如设计不好的监视软件，会占用过多的系统硬件和软件资源，比如CPU、硬盘、内

7、存等，给系统带来了过重的额外负载，这是我们不能容许的。除此之外，这些监视可能会影响到其他并行应用程序在机群系统上的执行，在时间上和空『日J上干扰到并行应用程序的运行，明显延长并行应用的执行时间等等。本文调查了目I；i『国内外已有的监视软件，并分析了它们的优缺点；在此基础上提出了一种低开销的机群监视软件的设计方法，并基于该方法实现了机群监视软件woRKS。本文的构成如下：第二章节将分别介绍监视工具的硬件、软件和混合方法的实现，并对这三种方法的优缺点进行了比较，并对目

8、j{『的监视软件进行概述，简单介绍了对监视软件的要求，监视的主要内容

9、以及根据各种标准对监视软件的分类。第三章对现在国内外比较重要的具有代表性的监视软件进行了调查和8第一章引言比较，详细介绍实现和体系结构以及不足。第四章在对现有监视软件调查和分析的基础上提出了本文自己的机群监视软件设计方法。第五章根据该