基于流量高峰预警机制的云平台监控系统

《基于流量高峰预警机制的云平台监控系统》由会员上传分享，免费在线阅读，更多相关内容在学术论文-天天文库。

1、基于流量高峰预警机制的云平台监控系统　　摘要随着云计算的快速发展，全球服务器规模持续扩大，运维难度、成本不断提高。如何降低成本、确保服务的可靠性是所有云服务商所必须考虑的问题。监控系统对于提高云平台的稳定性、提高服务质量、降低云平台的运维成本发挥着非常关键的作用。因此，研究和实现云平台的监控系统具有非常重要的意义。本文在研究当前多种监控系统解决方案的基础上，设计了一种具有流量高峰预警机制的监控系统。　　【关键词】云计算监控系统稳定性流量预警　　1引言　　目前，云平台监控系统在国内外有很多的开源解决方案，比如：Zenoss、collected、Zabbix、Nagios等。但是，它们都存在不同

2、方面的缺点，无法满足实际生产环境中多样化的需求。对于中小规模的企业来说，他们的业务规模相对较小、需求比较单一、业务扩展的也相缓慢，为了降低开发成本并且迅速地将监控系统投入使用，开源的系统监控解决方案是一个很好的选择。然而，对于很多企业来说，他们的需求变化较大、业务也比较复杂、集群扩展很快，这个时候开源产品就会显得很乏力。针对这些问题，本文设计了一种具有流量高峰预警机制的监控系统。监控系统从功能上来看，主要分为四个模块：数据采集模块、数据转发模块、数据存储模块、报警和预警模块。　　2数据采集模块　　数据采集模块是监控系统最基础的模块，它负责监控数据的采集，并且把采集到的数据推送给数据转发组件。

3、在监控系统中，不同公司或者业务对于监控目标的需求存在一些差别，但是大部分监控目标是相同的，比如监控CPU和内存的使用率等。如果默认监控所有的监控目标（比如监听所有的端口，实际上大部分端口并没有开启），会造成系统资源浪费。如果默认不监控任何目标，则需要运维人员去做大量配置，浪费人力。　　为了解决上述问题，本文将监控数据采集目标进行分类，分为：基本监控数据采集目标和特殊监控数据采集目标。基本监控数据采集目标，本系统默认全部采集；特殊监控数据采集目标，则需要运维人员手动配置。这样既节约了系统资源又节省了人力。　　3数据转发模块　　数据采集模块和存储模块及报警模块之间，设计了一个数据转发模块。数据转

4、发组件是没有状态的，它不会存储任何数据，而只是起到了一个中间转发的作用。　　监控数据由数据采集模块或者用户自定义脚本?l送过来后，首先会进行合法性检验，存储到相应的内存队列中，之后会转发给数据存储模块和报警模块。　　4数据存储模块　　监控数据的存储是监控系统中非常核心的模块，它对于系统的性能和整体的架构设计具有很大影响。本系统把监控数据存储在RRD（RoundRobinDatabase）中，即节省了空间又提高了数据查询效率。监控系统中，对监控数据的存储方式，主要分为两类：　　4.1细粒度存储　　保存数据采集端推送过来的所有数据点。优点是数据保存完整，缺点是存储代价和查询绘图代价过高。　　4.

5、2粗粒度存储　　对历史数据进行压缩归档，节省存储空问，提高查询和绘图效率。RRD提供了粗粒度存储的完善解决方案。RRD，是一个环状数据库，适合存储时间序列数据。　　5报警和预警模块　　通常来说，在监控系统中有两个主要的关注点，一个是历史数据的存储和绘图；另一个则是定义报警策略，及时发现问题，并且进行报警。目前，大多数监控系统只是对己发生事件进行报警，并没有对潜在的威胁作出预测。本系统不仅能够基于历史数据对己发生的事件进行报警，而且能够对潜在的危险作出预测。基于时间序列预测技术，借助数据挖掘，本系统实现了对服务器流量的预警机制。通过流量预测模型，预测未来短时间内流量情况，如果超过了某个设定的流

6、量阈值，则会发出预警，网络管理员可以提前采取措施，避免意外情况的发生，增强了系统的安全性和稳定性。　　报警模块的功能有：　　（1）从服务器获取报警策略。　　（2）接收数据转发组件转发过来的数据。但是，报警模块并不会存储所有的数据，而是只会存储每个监控项下的最新的10个数据点。之所以这样设计，主要是因为用户在定义报警策略的时候，通常来说只会检查最新的n个数据点，n的数值一般不会大于10。因此，为了节省资源和提高报警判断的性能，本系统只存储最新的10个数据点。　　（3）接收到数据后，能够高效率地判断是否达到了阈值产生报警事件。　　（4）当触发报警事件后，把这个报警事件写入队列中。　　因此，在报警

7、模块中需要对历史数据进行存储（只需要存储最新的几个数据点）。本系统需要对数据存储进行选型，是应该把历史数据存储到外部机器上，还是应该把历史数据存储到本地的内存当中。如果把历史数据存储到报警服务器的本地内存中，那么就会导致报警服务器具有状态，当进行水平扩展时，存在一定的难度。如果把数据存储到外部服务器的内存中，则每次进行报警判断时都需要经过网络获取历史数据点，对报警判断的性能存在很大的影响。基于如下几个原因：首