基于spark技术的实时网络流量异常检测研究

《基于spark技术的实时网络流量异常检测研究》由会员上传分享，免费在线阅读，更多相关内容在学术论文-天天文库。

1、中图分类号：ＴＰ３９３密级：公开邮Ｃ：；本校编号讀Ｗ交道乂肇工程硕±学位论女论ｉ：？目；基于Ｓｐａｒｋ技术的实时网络流量异常捡测研究研究生姓名：周超學号０６１３０１５８：学校指导教师姓名：徐岩职称：教授企业指导教师姓名詰级工程师：李职称：高申请学位工程领域名称：电子与通信工程２０１６４．０论文提交日期？２０１６．０：礎卞答辩円期６ｔ独创性声明本人声明所呈交的学位论文是本人在导师指导下进行的研究工作和取得的研究成果，除了文中特别加标注和致谢之处外，

2、论文中不包含其他人己经发表或撰写过的研究成果Ｉ也不包含获得兰州交通大学或其他教育机构的学位或证书而使用过的材料。与我一同工作的同志对本研究所做的任何贡献均己在论文中作了明确的说明并表示了谢意。／ｎ学位论文作者签名；７签字日期：如／／年フ月曰＾学位论文版权使用授权书本学位论文作者完全了解兰州交通大学有关保留、使用学位论文的规定。特授权兰州交通大学可？将学位论文的全部或部分内容编入有关数据库进行检索，并采用影印、缩印或扫描等复制手段保存、汇编臥供查阅和借阅。同意学校向国家有关部口或机构送交论文的复印件和磁盘。（保

3、密的学位论文在解密后适用本授权说明）学位论文作者签名：７＾＾导师签名；签字曰期年月曰签字曰期心＾年月白７／／工程硕士学位论文基于Spark技术的实时网络流量异常检测研究TheResearchofReal-timeNetworkTrafficAnomalyDetectionBasedonSparkTechnology作者姓名：周超工程领域：电子与通信工程研究方向：通信与信息系统学号：06130158校内导师：徐岩完成日期：2016.04兰州交通大学LanzhouJiaotongUniversity兰州交通大学工程硕士学位论文摘要Spark技

4、术是一项基于内存计算，继Hadoop技术之后在云计算领域出现的新一代通用并行计算的开源技术，在机器学习方面有着无与伦比的优势，特别适合出现多次迭代计算需求的算法，并在交互式查询、云计算、图计算等领域有着广泛的应用。由于Spark拥有非常出色的容错和调度机制，可以确保系统稳定地运行，并且它还是一个集SQL、机器学习、图计算、流处理等多种功能于一体的计算框架，具有非常好的易用性。目前，Spark技术已经构建成了一套完整的大数据处理生态系统，在流处理、图技术、机器学习、NoSQL查询等方面都具有自己的特色。此外，Spark采用全栈技术解决了云计算数据处理的核心

5、问题，使得在现阶段，Spark技术在云计算等大数据领域中成为研究热点。论文在详细阐述国内外关于Spark研究现状的基础上，针对目前存在的难点问题，以Spark全栈框架中的各个组件及其应用为基础，对网络流量异常检测技术的应用问题展开讨论和研究，本论文的主要贡献有以下两个方面：本论文首先研究了网络流量异常检测技术在Spark平台上的应用，利用Spark平台上的MLlib算法库、StreamingK-means和随机森林算法分别作为入侵检测的第一级和第二级模型，作用于不同阶段中网络流量数据的检测。此外，根据无监督模式下K-means算法的原理，对网络流量异常检

6、测算法进行了优化，采用Z-score算法过滤边缘信息，选择熵信息K-means模型作为第一级网络流量异常检测的模型，以第一级检测模型的数据输出作为第二级模型的输入，采用随机森林算法作为第二级分类模型。其次本论文针对以上算法进行了对比测试。首先以KDD99为实验数据集，基于熵信息判断K-means最优模型，并通过交叉检验证明了在不同的K值下模型预测准确度和熵信息成反比，K值为60时K-means模型达到最优。同时还对随机森林算法和决策树算法在不同参数组合下的预测模型进行了异常数据分类测试对比，测试结果表明，随机森林模型可以做到98%以上的异常结果分类预测，

7、采用二级异常检测模型与传统模型相比较，可获得较高的异常数据检测精度。关键词：Spark；机器学习；网络流量异常检测；K-means；随机森林论文类型：应用研究-I-基于spark技术的实时网络流量异常检测研究AbstractAfterHadooptechnologyincloudcomputing,anewgenerationofopensourcetechnologySparkisproposedinthefieldofparallelcomputing,whichisbasedonmemory.Thistechnologyhasanunparalle

8、ledadvantageinmachinelearning,especially