分布式事件流处理系统监测技术研究与实现

《分布式事件流处理系统监测技术研究与实现》由会员上传分享，免费在线阅读，更多相关内容在学术论文-天天文库。

1、绪论时检测效率。事件流处理技术和数据库事件处理技术的不同如表1．1所示。表I-I事件流与数据库处理技术对比事件流处理技术基于数据库的事件处理技术适合处理时变的、连续事件稳定的事件记录持续查询一次性查询顺序存储随机存储使用有限的内存空间海量的磁盘存储空间历史数据和当前数据都很重要注重当前数据实时性、随时性一般无实时性近似的处理结果精确的处理结果1．2．3监测信息应用研究现状监测信息收集和处理的最终目的都是为了有效应用监控信息。在1．1节的研究背景中已经对监测的典型作用做了介绍。总的来说，监控信息的应用可

2、以归为两类，一类是为人工控制、分析、展示提供数据支持，另一类是实施系统自动化处理。例如调试、性能分析、故障分析主要以人工控制为主，而故障检测后的自动修复、状态预测、任务调度则属于自动化处理。两种类型结合使用的情况也很常见，例如诊断、安全审核等等。由系统辅助整理信息并以适当的形式展现，管理员根据整理的信息分析和制定处理方案并装入系统，最后使之能自动化处理同类型的问题。两类监控应用方式决定了它们各自采用的技术的不同．对于第一类监控，系统可以将监测信息存入数据库，在后期采用数据挖掘进行分析；对于第二类监控，

3、需要监控应用实时分析处理信息，在定义的系统情况出现时立即触发执行预定义的处理动作，至于分析过的监控信息，会在内存中保存一段时间，随后被丢弃(一般在内存中使用定长监控事件队列，队列满时丢弃最旧事件记录)。监测框架的事件处理动作在事件或条件被满足时触发。现有的监测框架一般都会提供预定义处理动作，最常见的有忽略事件、记录异常事件、向管理员发出警告等，针对分布式应用，还有结束应用进程、重启应用进程、重新分配应用、标记应用失败、调用其他辅助应用等等。有部分系统还可以提供特定的监控语言支持用户编写处理脚本，或者调

4、用处理动作代码。1．2．4典型监测系统对比目前国内外有不少学者都在分布式系统监控方面开展了工作，下面介绍几种典型的监测工具或系统。(1)FalconFalcon[t71是一个已经实现的、为Mach操作系统下运行的分布式系统设计的监控系统。5东南大学硕士学位论文实现依赖于Cthreads库，并且能够运行于不同硬件平台。Falcon提供了在线监控和对大规模并行程序的运行控制等功能。该系统中的监控规范语言由低层次的传感器规范结构和高层次的视图规范结构组成。使用类IDL接口定义语言，编程人员定义了特定应用相关

5、的传感器和探针用于捕捉程序的运行时行为、以及程序属性，用于指导控制程序的运行。监控器是通过用于信息捕捉、搜集、过滤和分析的运行时库的使用来最终得以实现的。(2)R-GMAR-GMA．[18】【1明是一个GMA(GridMonitoringArchitecture)相关性实现，由欧洲数据网格EuropeanDataGrid(EDG)开发。作为网格信息和监测系统，它基于GGF的GMA，用于提供网格的信息和应用监测。R-GMA带来了关系模型的能力和适应性。R-GMA能提供一个信息的全局视图，好像每个虚拟组织

6、有一个大的关系数据库，造成了一种每一个虚拟组织都有一个RDBMS的印象。它也把产生的信息当做流来处理，用户可以通过分布式的查询来进行查询操作。但R-GMA采用的是用关系模型来存储监测信息，用户的查询时通过SQL语句来完成的。然而SQL语句和关系模型在处理流式数据方面存在诸多限制，没有滑动窗口的概念，不能表达事件间复杂的时序与空间关系。(3)HIFIHIFI[1司是由德宝尔大学研发的，针对大型分布式系统进行监控和管理的体系结构。具有可扩展性、动态性、灵活性和非侵入性，能够有效提高复杂分布式应用的性能和可

7、靠性．HIFI设计了一种基于事件的软件规范描述语言，在实现层次上对分布式节点中的事件进行监控，通过对分布式基本事件的复合实现软件规范的描述。HIFI主要监控目标程序的安全属性。监控器主要是通过对事件流进行分层次的过滤、对复合事件的识别来实现对软件规范的检查。监控代码通过代码生成器自动插入到目标程序中，只负责收集软件运行时发生的事件，对程序侵入性很小。监控器中的观察部件是和目标程序在同一进程中运行，但是检查部件是在不同机器的不同进程中运行。圈提供了四种事件处理机制，它们分别是：运行简单的程序代码，发布监

8、测信息，新增需要监控的事件，定义新的监测逻辑。(4)MonalisaMonalisa(MONitoringAgentsusingaLa喀eIntegrat[eclServicesArchitecture)伫01是一个基于Jini与动态分布式服务结构DDSA(DynamicDistributedServicesArchitecture)t211的分布式监测服务系统。它能够以较好适应性和自描述的方式，从监测系统向更高层发送服务．不能以细粒度提供本地监测服务，