基于Hadoop平台的安全日志聚类挖掘算法研究与应用.pdf

《基于Hadoop平台的安全日志聚类挖掘算法研究与应用.pdf》由会员上传分享，免费在线阅读，更多相关内容在学术论文-天天文库。

1、通■■ｎ．５学校代码分类号；ＴＰ３１１；１０６９７、密级；么开学号；２０１３３１４２７？表处乂聲ＳｒＮｏｒｔｈｗｅｓｔＵｎｉｖｅｒｓｉｔｙＷＦ号慶学恆破±巧交’ＩＩＳＰＥＣＩＡＬＩＺＥＤＭＡＳＴＥＲＳＤＳＳＥＲＴＡＴＯＮ基于Ｈａｄｏｏｐ平台的安全日志聚类挖掘算法研究与应用，當．古：学科名称：软件王程专业学位类别：工程硕去作者：苏蓉指导老师：高岭教授西北大学学位评定委员会＾二〇－五年十二月Ｔｈｅｒｅｓｅａｒｃｈａｎｄａｐｐｌｉｃａｔｉｏｎｏｆｓｅｃｕｒｉｔｙｌｏｇ＊ｃｌｕｓｔｅｉ

2、ｉｎｇｍｉｎｉｎａｌｏｒｉｔｈｍｂａｓｅｄｏｎＨａｄｏｏｐｇｇｐｌａｔｆｏｒｍＡ也ｅｓｉｓｓｕｂｍｉｔｅｄ化ＮｏｒｔｈｗｅｓｔＵｎｉｖｅｒｓｉｔｙｉｎａｒｔｉａｌｆｕｌｆｉｌｌｍｅｎｔｏｆｔｈｅｒｅｑｕｉｒｅｍｅｎｔｓｐ化ｒ化ｅｄｅｒｅｅｏｆＭａｓｋｒｇｉｎＳｏｆｔｗａｒｅＥｎｇｉｎｅｅｒｉｎｇＢｙＳｕ民ｏｎｇＳｕｐｅｒｖｉｓｏｒ：ＧａｏＬｉｎｇＰｒｏｆｅｓｓｏｒＤｅｃｅｍｂｅｒ２０１５西北大学学位论文知识产权声明书、保存本人完全了解西北大学关于收集、使用学位论文的规定。学校有权保

3、留并向国家有关部口或机构送交论文的复印件和电子版。本人允许论文被查阅和借阅。本人授权西北大学可将本学位论文的全部或部分内容编入有关数据库进行检索，可采用影印、缩印或扫描等复制手段保存和汇编本学位论文。同时授权中国科学技术信息研究所等机构将本学位论文收录到。《中国学位论文全文数据库》或其它相关数据库保密论文待解密后运用本声明。学位论文作者签名：恭秦指导教师签备：？Ｉ＆年／乃）巧日７＾妊；巧日西北大学学位论文独创性声明本人声明：所呈交的学位论文是本人在导师指导下进行的研究工作及取得的研究成果。据我所知，除了文中特别加标注和致谢的地方外，本

4、论文不包含其他人已经发表或撰写过的研究成果，也不包含为获得西北大一学或其它教育机构的学位或证书而使用过的材料。与我同工作的同志对本研究所做的任何贡献均已在论文中作了明确的说明并表示谢意。学位论文作者签名／年ｔ！＞Ｉ月曰摘要我们正处于信息爆炸的时代，随着信息技术的快速发展，网络产生的日志数据正前所未有的规模増长，且这些数据具有Ｖｏｈｕｎｅ（数据规模大）、Ｖａｒｉｅｔｙ（种类多）、Ｖｅｌｏｃｉｔｙ（处理速度快）、Ｖａｌｕｅ（数据价值密度低）等特点。关系型数据库主要面向结，但现实世界中海量数据具有各种不同的格式和形态构化数据的存储和处理，且具有

5、很多不同的计算特征，使用单台主机集中式对日志数据进存储或计算已经无法满足目前大规模数据的分析要求。因此，采用基于集群的分布式存储与并行计算体系结构已成为大数据处理的必然选择。针对１＾上问题，本文重点研究基于Ｈａｄｏｏｐ的安全日志聚类挖掘算法应用。通过分一些问题与不足析传统关系型数据库在存储管理大规模结构各异的数据时存在的，Ｗ及一分析Ｈａｄｏｏｐ与其在数据存储管理方面协同工作的可行性，提出了种新的基于Ｈａｄｏｏｐ的安全日志聚类分析框架，阐述了基于该框架的安全日志聚类算法的详细流程，并对该框架所涉及的关键技术进行了深入分析。主要研究内容包括：一Ｈａｄ

6、，通过分析关系型数据库的特点与不足，提出了ｏｏｐ与关系型数据库协同工作的新架构。整合Ｈａｄｏｏｐ平台与关系型数据库，将数据存储和计算要求扩展到集群的一一各个节点上，建立个统的数据存储与处理架构，利用集群的并行计算和存储能力来进行日志分析，解决了大规模日志数据的高速存储、数据分析能为。二，针对日志数据隐藏关系信息的发现，对比常用的日志分析方法，提出了基于ａｅｄｕｃｅ－ｅａｎＭＭｐＲ的ｋｍｓ聚类分析方法。采用ａｐＲｅｄｕｃｅ分布式计算框架，通过实现－ｋ，挖掘现有数据中存在的联系和规则ｍｅａｎｓ聚类算法，分析日志中潜在的信息，能及时对日志数据进行安全等级评估

7、和预警。一个基于Ｈ王，根据Ｗ上两点的研究，开发了ａｄｏｏｐ的网络安全日志聚类分析系统。该系统己应用到陕西某电超市的安全脏控服务平台，用于分析该服务平台中所有安全设。备的日志记录。实现了对安全监控服务平台的管理和监控，提高了数据的存储分析效率总之，通过深入对基于Ｈａｄｏｏｐ的安全日志聚类挖掘算法中关键技术的研究与应用，不仅使关系型数据库得Ｗ合理利用，也实现了对大规模网络安全日志的高效存储管理与快速挖掘分析。ｏｖＭ民－，ｍ关键词：Ｈａｄｏｐ，出