基于云计算技术的网络告警融合分析系统的设计与实现

《基于云计算技术的网络告警融合分析系统的设计与实现》由会员上传分享，免费在线阅读，更多相关内容在工程资料-天天文库。

1、基于云计算技术的网络告警融合分析系统的设计与实现【摘要】针对涉密网中安全设备产生的结构多样、数据庞大日志信息，将这些彼此独立的片断信息链接起来，重现整个网络攻击过程，发现攻击者的真正意图，是目前网络安全态势研究的重点和难点。本文基于以上需求，研究多源海量日志数据处理分析技术，构建层次型数据融合处理框架，实现从数据层到特征层，再到决策层的多源海量日志数据的融合处理，设计并实现基于云计算技术的网络告警数据分析系统。【关键词】云计算；告警融合；架构设计【中图分类号】TP393【文献标识码】ATheDesignandImplementofANetworkAlarmandDataFu

2、sionAnalysisSystembasedonCloudComputingLiHong-min1LuMin1HuangLin2ZhangJian-ping1(1.InstituteofSystemEngineering,CAEPSichuanMianyang621900；2.ComputerCollege,SWUSTSichuanMianyang621900)【Abstract】ThecurrentsecurityexpertsfocusonadifficuItstudywhichistheprocess-reproduceofthewholenetworkattack

3、bylinkingtheindependentpiecesofinfiniteinfonnationfromvariouskindsofsecurityequipment.Basedontheaboverequirements,thispaperdesignsandimplementsanetworkalarmanddataanalysissystembyresearchingontheanalysistechniquesofdealinglargescalesoflogsfromdifferentkindsofequipmentandconstructingthehier

4、archicalframeworktofusionthepiecesofinformationfromthedatalayertothefeaturelevel,anddecisionleve1.【Keywords】cloudcomputing；datafusion；frameworkdesign1引言随着信息技术的不断发展和信息化建设的高速推进，网络已成为人们进行科研、生产、办公的重要平台。由于网络具有开放性、互联性、共享性的特点，其遭受入侵的风险也日趋严重，计算机网络安全问题日益突出。黑客活动日趋频繁，网站后门、网络钓鱼、恶意程序、拒绝服务攻击事件呈大幅增长态势，针对特

5、定目标的有组织高级可持续攻击（APT攻击）日渐增多，涉密网络信息系统安全面临严峻挑战。为了保证计算机和网络的安全，军工单位的涉密网都部署了大量的网络安全设备（如防火墙、IDS）、主机监控系统、应用系统审计等用于增强网络安全防护和网络安全审计。与此同时，这些设备和系统产生了大量的结构多样、彼此独立的日志信息，这些信息无法反映一次完整的攻击，只是记录了攻击的片段，因此如何将这些片断信息链接起来，重现整个网络攻击过程，发现攻击者的真正意图，是目前网络安全态势研究的重点和难点。本文基于以上需求，研究多源海量日志数据处理分析技术，构建层次型数据融合处理框架，实现从数据层到特征层,再到

6、决策层的多源海量日志数据的融合处理，设计并实现基于云计算技术的网络告警数据分析系统。2关键技术研究2.1海量日志数据预处理技术首先需要对防火墙、IDS、主机监控系统的日志进行多源融合分析，日志数据进行集中采集，并保存在日志采集服务器上；然后再启动数据推送服务（可选择线上流量较小的凌晨）将日志数据文件推送至Hadoop平台；最后将日志文件写入到集群的HDFS中。对于防火墙、入侵检测系统等设备来说，设备产生的日志信息可以通过syslog协议的方式进行推送，日志采集服务器端通过监听UDP或TCP端口的方式对日志进行采集。对于主机监控系统未提供syslog的方式推送日志，则需要读取

7、主机监控系统服务器中的日志，并将其保存为文件形式待推送。日志数据生成过程如图1所示。经过对防火墙、IDS、主机监控系统日志数据格式的研究，将日志分为四类(即管理配置异常类、流量异常类、违规操作类、安全攻击事件类)进行规范化处理。(1)管理配置异常类管理配置异常类日志是指通过提取并分析防火墙、IDS、主机监控系统中管理配置相关的日志，发现异常的管理配置操作，通过对其日志的研究可将这类日志规范化为如下格式：LogManager(ID,dev_type,event_type,priority,user,src_ip,op