通用应用日志监管平台

《通用应用日志监管平台》由会员上传分享，免费在线阅读，更多相关内容在应用文档-天天文库。

1、通用应用日志监管平台［摘要］通用应用日志监管平台，是一款通用的企业应用日志监管软件，它从采集、处理、存储、监控和管理分析五方面入手，采用标准采集协议、分布式处理、集屮存储等多种技术方案，实现了对应用H志的统计分析、多维度查询、实时报警，具有通用性强、操作简便等特点，可满足于不同行业、不同角色的监管需求。［关键词］通用日志；监管；软件doi：10.3969/j.issn.1673-0194.2017.02.089［中图分类号］TP311［文献标识码］A［文章编号］1673-0194(2017)02-0-031应用日志监管平台的概述应用日志是基于吋间顺序，记录应用程序所发生事件的

2、数据。开发人员，可以根据应用日志中的错误和调试信息等数据，跟踪程序运行、分析程序性能，这有利于提升程序质量和开发效率；运维人员，可以根据应用曰志中的运行数据，监控程序状态、定位排查故障、分析性能瓶颈等。因此，应用FI志的监控和管理对程序开发和企业的运维都有着重要作用。本地存储，这种传统的应用日志的监管方式存在很多问题，其碎片化严重；格式不统一，不利于数据分析和管理；易丢失，安全性差；监管工具局限性大，应用场景单一，功能简单。如何构建一套通用的监管平台，真正有效地挖掘并利用日志数据来助力企业发展，是企业迫切需要解决的问题。2应用日志监管平台的功能说明通用应用FI志监管平台核心功

3、能模块分为FI志采集模块、円志处理模块、日志存储模块、日志管理网站、日志监控报警模块和日志分析报表模块。如图1所示。曰志采集模块，是平台从应用程序中收集日志数据的功能模块。该模块采用标准日志接入协议和分布式队列接收技术，可同时接入多个应用程序，收集不同类型的日志数据，即使海量的应用円志数据也能被快速、完整的接收。H志处理模块，是对接入的应用H志数据进行处理的功能模块。该功能模块采用高集群技术，不间断地对日志数据进行筛选、分组、格式优化等处理。日志存储模块，足存储应用日志数据模块。对最新的日志和使川频率高的数据，采用Redis缓存集群存储技术，将数据存放在内存中，可快速读取数据

4、，提升分析效率。对使用频率较低的数裾，采用Hbase分布式存储系统存储，将数据分散存储在多台独立的设备上，提高存储的可靠性，可根据需要随时扩展存储；对使用频率极低的数据，采用HDFS分布式文件系统存储方式进行备份，成本低、容量大、易扩展。日志管理网站，是在线监控应用日志、配置管理的网站。该网站主要有H志检索、权限管理、应用管理、报警策略管理等功能。H志检索是H志分析工作的重要内容，通过日志产生时间、数据来源、信息类型、日志级别等不同维度，对数据进行快速的过滤，精准定位，简化应用日志分析工作。权限管理，通过分配每个用户的操作权限和数据访问权限，既满足不同管理角色的监管需求，乂能

5、有效地避免信息交叉，防止信息泄露，保证円志内容安全。应用管理功能，可在线配置应用程序的接入方式和接入参数等信息；报警策略管理，可配置监控报警条件、报警推送方式、报警频次等信息。曰志分析报表模块，是应用日志监管数据可视化的分析工具。包含数据统计计数功能、求和功能、求最人值、最小值功能与数据对比功能等，支持折线图、条形图、饼状图等多种图表格式，对円志数据进行多维度的图表展示。日志监控模块，是H志监管平台屮的“眼睛”。可24小时不间断地监控日志数据，节省人力，减少运维成本。智能识别异常日志，在事件发生的第一时间，发送邮件和短信通知，便于企业快速采取措施，减少异常导致的损失。3应用日

6、志监管平台的软件架构通用应用日志监管平台软件架构是一套高性能、可扩展的软件框架。曰志采集使用消息队列集群技术，可支持大的数据量的应用日志接入。数据处理采用消息队列发布、订阅模式，异步处理数据，缓解处理服务器的压力。数据存储采用三种存储技术，高频率使用数据存储使用Redis缓存集群，提供内存及读写速度，提升数据读写性能。普通数据存储使用dBase数裾库，不仅能存储大规模数据，还能提供实时读写访问。备份数据存储采用HDFS分布式存储技术，可存储大规模的存档文件。如图2所示。架构中采用的主要技术介绍如下。分布式消息队列是本架构中的重要技术，在日志处理模块中负责接收采集数据，保存数据

7、内容并发送下一节点进行进一步处理。该技术具有异步处理的特点，能保存消息数据，无需依赖发送端和接收端，解决了应用程序的耦合，异步消息等问题，保证数据传送的安全。Redis缓存集群存储技术，是存储模块屮高速读写数椐的重要技术。当平台进行大规模的数据访问时，磁盘I/O往往成为性能瓶颈，从而导致过高的响应延迟，严重影响性能。Redis缓存集群存储技术将高速内存作为数据对象的存储介质，数据以key/value形式存储，理想情况下可以获得DRAM级的读写性能。为平台提供高效的?x取数据的解决力*案。HBase是一个