多源异构日志的数据归并和预处理技术

《多源异构日志的数据归并和预处理技术》由会员上传分享，免费在线阅读，更多相关内容在学术论文-天天文库。

1、分类号：UDC：密级：编号：工学硕士学位论文1IIillllllllllllllllllllllllllllllllllllllllllllllY1438199多源异构日志的数据归并和预处理技术硕士研究生：指导教师：学位级别：学科、专业：所在单位：论文提交日期：论文答辩日期：学位授予单位：许小明王慧强教授工学硕士计算机应用技术计算机科学与技术学院2009年2月2009年3月哈尔滨工程大学哈尔滨工程大学硕士学位论文摘要(网络安全态势感知系统是实现网络安全监控的一种新技术，也是目前信息安全的研究热点之一。网络安全态势感知系统从整体的角度审视大规椟网络的安

2、全状况，对网络系统中潜在的或已经出现的异常做到及时监测，并能对未来一段时间内网络的安全状况做出合理准确的预测。本文在获取网络安全态势感知需要的数据方向进行了较全面研究，设计了四个模块来完成多源异构日志的归并。日志采集模块采集网络中所有反映网络安全态势信息的日志，包括关键主机日志(Windows、Linux)、网络数据传输设备日志(交换机、路由器)、网络安全设备日志(硬件防火墙、软件防火墙)。日志预处理模块利用不同的规则库(Windows、Linux、snoTt日志)分别对采集的多源异构日志数据进行预处理，去除无用和冗余的信息。数据转换模块设计多源异构

3、日志数据的xmlschema文档，使用xmlbcan技术对xmlschema文档进行处理，结合iava编程对经过处理的日志数据进行转换，经过转换后得到具有统一的格式数据。数据归并模块对转换后的数据按时间戳进行数据归并，将同一时间点发生的网络安全事件进行综合判断。实验测试表明，该方法能够应用于多源异构日志数据的归并和预处理，提供给网络管理者用于网络安全态势决策的基础数据。关键词：网络安全；多源异构；预处理；数据转换；数据归并哈尔滨工程大学硕士学位论文AbstractNetworksecuritysituationalawarenesssystem(NS

4、ShS)isanewtechnologytomonitornetworksecurityanditisoneofthehotresearchdomainsininformationsecurity．NSSASobserveslarge—scalenetworksecuritysituationfromaholisticperspective，ittimelymonitorspotentialorarisenanomaliesinnetworksystemanditalsocanforecastnetworksecuritystatusinsometi

5、melater．HowtOobtainnecessarynetworksecuritysituationalawarenessdataisresearchedcomprehensivelyinthispaper．FourmodulesaledesignedtOcompletemergingofmulti·∞uTceheterogeneous：L09s．Logacquisitionmodulecollectsallthelogswhichreflectthenetworksecuritysituationalinformationfromthenetw

6、ork,includingthecriticalhostlogs(Windows，Linux)，networkdatatransmissionequipmentlogs(switch，routeO，networksecuritydevicelogs(hardwarefirewall，softwarefirewaU)．Logpreprocessingmodulepretreatmentsmulti-SOurceheterogeneouslogsdatabyusingdifferentrule-bases(Windows，Linttx，snortlogs

7、)．Thentheselogsdatahavebeenremoveduselessandredundantinformation．Dataconversionmoduledesignsmulti-sourceheterogeneouslogsdata’Sxmlschemadocuments．Itdealswithxmlschemadocumentbyusingxmlbeantechnology．Itconverseslogsdatabycombinmgwithjavaprogramming．Itgetsunifiedformatdataafterda

8、taconversion．Datamergemodulemergesthedataaccordingbyti