基于hadoop的网络告警融合分析技术研究

《基于hadoop的网络告警融合分析技术研究》由会员上传分享，免费在线阅读，更多相关内容在学术论文-天天文库。

1、Classifiedlndex：TP393．08U．D．C：004．9SouthwestUniversityofScienceandTechnoIogyOT3CIMasterDegreeThesiS一‘P■^●ReSearch0n卜US10nPr0CeSIngTechnoIogyfortheAnaIysiSofNetworkAIarmBasedonHadoopGrade：2011Candidate：AcademicDegreeAppIiedfor：SpeciaIity：Supervisor：2011000397MasterComput

2、erAppIicationTechnoIogyWuZhiJie．ProfessorMar．18．2014独创性声明本人声明所呈现的论文是我个人在导师指导下进行的研究工作及取得的研究成果。尽我所知，除了文中特别加以标注和致谢的地方外，论文中不包含其他人已经发表或撰写过的研究成果，也不包含为获得西南科技大学或其他教育机构的学位或证书而使用过的材料。与我一同工作的同志对本研究所做的任何贡献均已在论文中作了明确的说明并表示了谢意。签名：童夯日期：砂I啦上谚关于论文使用和授权的说明本人完全了解西南科技大学有关保留、使用学位论文的规定，即：学校有

3、权保留学位论文的复印件，允许该论文被查阅和借阅；学校可以公布该论文的全部或部分内容，可以采用影印、缩印或其他复制手段保存论文。(保密的学位论文在解密后应遵守此规定)签名：弘翮够墟蝴一坼埘西南科技大学硕士研究生学位论文f㈣幽㈣删栅Y258考§百§第1页摘要企事业单位网络中安全防御设备产生的海量日志具有多样性、高冗余度、看似“分散独立”却存在关联性的特点，现有传统的独立集中式日志分析平台计算能力有限，无法满足日志海量、多样性的要求，缺乏针对海量多源网络安全日志的高效融合分析方法的研究。因此，本文引入Hadoop海量数据处理技术，研究并设计

4、针对防火墙、IDS和主机监控系统的海量多源日志数据采集、清理、规范化处理方法，并将日志存储于分布式文件系统(HDFS)中；提出一种基于MapReduce的多维度的日志聚合算法M-DLA(Muiti-dimensionalLogAggregation)和时间阈值自更新方法，实现海量日志的冗余处理；研究并设计一种告警融合分析方法，结合制定的规则策略、资产库、脆弱性信息和关联知识库，判断真实发生攻击事件的有效告警；同时，采用Hadoop技术实现网络告警融合分析原型系统。实验结果表明M-DLA算法能有效聚合冗余日志，融合分析方法能准确区分有效

5、攻击，基于Hadoop的原型系统可高效率完成日志分析处理。通过本文研究，解决了“分散独立”的海量多源日志的有效融合分析技术和单机处理效率的瓶颈问题，提升安全事件监测时效性和有效性，为网络态势评估预警提供参考依据。关键词：Hadoop海量多源日志聚合融合分析网络安全AbstractNetworksecuritydefenseequipmentsgeneratehugeamountsofmulti·sourcelogdatawhichhasahighrepetitionrateandfalsepositiverateinenterpris

6、esThereiSacertaincorrelationbetweenthemulti．sourcelogdata,However,theexistingtraditionalcentralizedloganalysisplatformindependentcomputingpoweriSlimited，hasbeenunabletomeetthemassive，diversityrequirements．Lackofresearchandanalysismethodsforefficientintegrationofmassiver

7、mlti—sourcenetworksecuritybgs．Therefore，thispaperintroducesthemassivedataprocessingtechnology，researchsonfusionanalysisofnetworkalarmsbasedonHadoop．Firstofall，Researchanddesignforfwewalls，IDSandhostmonitoringsystemmassivemulti。sourcelogcollection，cleaning，standardizedpr

8、ocessingmethod，andstoredinadistributedfilesystem(HDFS)．ProposeaMapReduce．basedmulti·dimensionalaggregationalgo