网络日志信息采集与分析解析系统的设计与实现.doc

《网络日志信息采集与分析解析系统的设计与实现.doc》由会员上传分享，免费在线阅读，更多相关内容在工程资料-天天文库。

1、网络日志信息采集与分析系统的设计与实现摘要随着网络规模的不断扩大,网络中的设备数量和服务类型也越来越多，网络中的关键设备和服务产生了大量的日志信息，如何处理这些日志信息，实现日志信息的集中存储和有效分析，挖掘出有效信息为网络管理和网络安全服务提供支撑变得尤为重要。本文描述了网络日志集中采集和分析系统的设计，并详细阐述了系统功能模块的实现方式。关键字：日志信息集中采集日志分析1、引言随着网络规模的不断扩大,当校园网中网络扩展到包含了许多主机、应用系统和各种网络设备时，管理与安全相关的事件就变成了越来越复杂的任务。在这些运营设备中，操作系统本身能够提供一些日志管理工具，但是由于其孤立于其他组网设

2、施，对运营管理并不能提供所需的综合信息，此外操作系统本身的日志管理工具也无法提供对关键业务应用的审计功能，而更多的其他组网设备，如路由器、交换机、防火墙等，很少提供日志管理工具。对于目前越来越复杂的网络环境，日志管理的问题越来越严重[1]：首先，日志凌乱的散落在网络中各个设备上，发生在网络不同部分的安全事件无法关联起来；随着网络攻击技术的不断发展，系统本地的日志非常容易被篡改用来消除各种非法入侵行为痕迹；随着时间和容量的变化，日志数据常常会被自动删除或者覆盖，无法通过长期的日志数据挖掘形成用户行为统计；发生在网络防御设备，诸如IDS、防火墙等在遭遇攻击时会产生海量日志数据，以至于无法发现重要

3、的安全事件。因此，在复杂的校园网络环境中，开发和部署一个能够将异构的网络中不同的组网设备以及业务应用系统的日志信息统一采集和分析的系统，就能够使网络管理员比较方便、容易地将运营系统各个环节的相关日志数据和安全性有效关联起来，快速发现网络的异常行为，为管理员提供一种快速评价网络安全运行状态的工具。2．系统设计与实现网络日志集中采集与分析系统能够有效地收集和分析来自异构服务器、不同供应商提供的网络设备、不同的业务系统等的安全日志数据，并对采集到的日志进行分析、汇总和报警，使网络管理员能够有效识别网络环境中潜在的异常行为。2.1系统总体结构网络日志集中采集与分析系统具有四个功能模块（如图1所示）。

4、分别是：日志对象管理模块，日志数据集中采集处理模块，负责采集网络设备和系统的日志数据并对数据进行简单归类处理；日志数据存储模块，负责将日志数据采集模块获取到的数据进行分类并以文本数据形式存储到指定位置中，实现数据的集中存储；日志数据分析和报警模块，实现对存储的日志数据进行各种类型的统计分析，帮助网络管理员高效地从海量的日志数据中提取和挖掘关键安全事件，将结果呈现给网络管理人员，明显地提高对恶意侵袭的监控和防范能力。图1:系统总体结构示意图2.2主要功能模块介绍2.2.1日志对象管理模块该模块主要实现对需要采集分析的日志对象进行数据库化管理和配置。系统以MySQL为后台数据库，通过配置界面实现

5、对日志采集分析对象的增加、删除、修改操作，该数据库表结构包含日志采集分析对象的IP地址，设备名称，日志采集代理类型，设备日志采集状态等。2.2.2日志数据采集模块根据系统设计功能，该模块能够自动收集来自于网络环境中各种设备(Windows、Linux等操作系统，IDS、防火墙、路由器等网络设备)的日志数据，并将采集到的日志数据发送到数据存储模块进行集中存储。网络管理中常用来采集日志数据的方式包括文本方式采集、SNMPTrap方式采集和syslog方[2]式采集，考虑到各种采集方式的特性和系统的通用性，本系统选用以syslog方式采集日志数据。日志数据采集模块采用客户端/服务器架构[3]。在系

6、统实现中，采用运行在日志采集服务器端的Rsyslog作为日志数据采集服务程序，Rsyslog是一个syslogd的多线程增强版，可以实现包括对输出的文件进行自动压缩和支持多个TCP侦听以及性能方面的提升。而客户端根据对象不同选用不同的开源软件，例如常规网络设备和Linux客户端使用syslog，Windows客户端则采用第三方的软件（evtsys）来将windows的日志转换成syslog类型的日志后，发送给syslog服务器。客户端的设置[4]（X.X.X.X代表日志服务器的IP地址）：1)Linux客户端（使用Syslog）：编辑/etc/syslog.conf，加入“*.*@X.X.X

7、.X”。2)Linux客户端（使用syslog-ng），编辑/etc/syslog-ng.conf,加入“destinationlog_server{udp("X.X.X.X"port(514));}”。2.2.3日志数据集中存储模块日志数据集中存储模块实现将日志采集模块获取到的日志数据按照日志获取对象名称、日志类型以及时间进行分类归档并存储，同时，由于日志文件以文本形式进行存放，考虑到日志文件自身的可压缩性