可扩展集成化云平台监控机制的设计

《可扩展集成化云平台监控机制的设计》由会员上传分享，免费在线阅读，更多相关内容在工程资料-天天文库。

1、可扩展集成化云平台监控机制的设计1引言过去几年，随着云计算技术的不断发展，对于云平台监控的需求越来越迫切.作为云计算数据中心的运维人员，需要随时关注服务器的性能指标，避免服务器性能降低甚至当机的风险.。通过云平台资源的特点，可以知道云平台监控的主要难点集中在被监控的资源的多样性、动态性及规模巨大这几个方面:1)资源的多样性—云平台上的资源是多种多样的，从操作系统上分，包括ysql数据库、apache等各种应用程序和服务.如何将这些复杂的资源进行抽象分类，从而简化监控任务，是云平台监控的一个重大挑战.2)资源的动

2、态性—云平台上的资源不是固定不变的，云平台的节点可以动态的增加或减少，云平台上的应用及服务也可以动态的安装或卸载.如何让云平台监控动态适应云平台变化，是云平台监控一个重大挑战.3)资源的规模巨大—云平台往往包括成千上万计算节点，而每个节点上运行着各种应用软件和服务，造成云平台资源规模巨大，这就给监控系统带来很大的负担，同时影响云平台的性能.如何提供一种对云平台影响较小，且监控效率较高的系统，是云平台监控的一个重大挑战.单一的监控软件往往无法满足云平台被监控资源的动态性、多样性以及资源规模巨大的需求.为全面监控云

3、平台资源，往往需要安装多种监控软件，在查询时需频繁切换不同软件，不利于实时监控，同时增加了运维人员的工作量.文献[2]提出一种基于Ganglia与MDS结合的X格监控体系研究，但该体系不具备可扩展接口，当现有软件需要升级或需要增加新的监控软件时，只能通过手工修改代码来完成.针对上述问题，提出一种可扩展集成化云平台监控机制，可以灵活集成多种监控软件，以满足对云平台资源的监控需求，并有效减轻运维人员的工作压力，提高工作效率.2相关工作随着云平台的发展，人们越来越关注云平台上资源的运行和使用情况，以满足云平台监控使用

4、者及时掌握云平台的运行状态，因此，对云平台监控的研究也逐渐发展起来.下面从学术界和工业界两方面讨论云平台监控的相关工作.学术研究方面，在云计算技术发展之前，集群技术以其高性价比、易于扩充与易于裁减等诸多优点已经成为高性能计算常见的解决方案，对集群监控的研究也逐渐受到研究人员的重视.随后对X格计算的研究，研究人员针对于X格环境中的监控问题做了大量的研究工作，.集成化云平台监控机制针对在云平台监控中遇到的被监控的资源的动态性、多样性及规模巨大等难题，提出了一种可扩展集成化云平台监控机制，下面将从监控系统框架、监控模

5、型和监控软件集成方法三个方面进行介绍.3.1监控系统框架我们提出一种可扩展集成化云平台监控体制，可以在云平台监控系统的底层动态的增加监控软件，以适应云平台资源的多样性和动态性的特点，这些操作对于使用者来说是透明的.图1是监控系统框架图，将从云平台资源、监控数据的提取及存储、监控服务这三个方面介绍系统的框架.3.1.1云平台资源根据云平台资源的特点，可以知道云平台被监控节点具有多样性，根据不同的划分方法对被监控节点进行分类，具体分类如下:1)操作系统不同—根据操作系统的不同分类可以将监控节点分为ysql数据库、a

6、pache等应用服务以及hadoop分布式框架进行监控，不同的监控软件对于服务和程序的支持不同.3.1.2监控数据的提取及存储首先对监控数据的完整性进行定义:监控数据的完整性是指对监控软件的数据进行即时保存，并保证对所有的监控数据进行准确保存，而不淘汰任何老数据.一般情况下，监控软件会将监控数据存放在监控服务端的RRD数据库中，RRD数据库最大的特点是以循环格式来存储数据，在持续插入新数据的过程中不断淘汰老数据，因此RRD文件大小保持在一定的范围内.这样不利于监控数据的完整保存，所以需要采用一定的方法将监控数据

7、存储到可保证数据完整性的数据库(如mysql，mongodb等)中，并进行持久存储.1)读取特定端口取数据—被监控的节点将监控数据通过特定的端口传输到服务节点，按照一定的时间间隔去读该端口并获取xml数据，然后利用解析工具取得监控数据，最终存入可保证数据完整性的数据库.2)通过脚本转存数据—对于不易通过端口获取数据的监控软件，则需要通过执行python或shell脚本将监控数据从RRD数据库转存到可保证数据完整性的数据库中，相比于上一种方法，这种转存方式效率较低，实时性较差.3.1.3监控服务在介绍监控服务之前

8、首先要明确监控服务的使用者，使用者定义如下:监控服务的使用者主要包括运维人员以及最终使用者.运维人员是需持续关注云平台资源的使用情况，并根据监控数据进行作业调度，任务迁移等操作的相关人员，另外运维人员还负责添加监控软件，并进行相应配置.最终使用者是指需要查看云平台资源的状态，以及需要关注特定资源使用情况的相关人员.基于监控数据完整性保存模块，云平台监控系统提供了配置引擎、查询引擎、统计