网络空间安全大数据实时计算平台关键技术研究

《网络空间安全大数据实时计算平台关键技术研究》由会员上传分享，免费在线阅读，更多相关内容在学术论文-天天文库。

1、带．？＇＇ｆ，３９３论文編号６０１６－０巧９中图分类号ＴＰ１加学科分类号５２０．３０４０密级＊纖义相乂净■硕±学位论义■ａＭｓｒｏｉａａＫｉｇｉｉＢｉｉｉｉａｇｙ网络空间安全大数据实肘计算平台关键技术研究ＲｅｓｅａｒｃｈｏｎＫｅｙＴｅｃｈｎｏｌｏｉｅｓｏｆｇ＾ｉｉＲｅａ＾ＴｉｍｅＣｏｍｕｔｉｎＰｌａｔ化ｒｍＩｎｐｇ－三ＣｂｅｒｓａｃｅＳｅｃｕＷｔＡｒｅａ…．ｙｐｙ＾ｌｇｌ＾ｌ＾瞧苗麵隱’Ｉ—ｏｉＢｒｉｆｅ

2、ｉｗ＾．－——．—ＨＢｌ计龍科学与技术略国巧１！１＾计龍群自技术山坚ＨｊｉｆｅＨ姚欣王劲松硏究员天津理工大学研究生院二〇－六年Ｈ月與准１性是巧本人声明所呈交的学位论文是本人在导师指导下进行的研究工作和取得的研究成果，除了文中特别加标注和致谢之处外，论文中不包含其他人已经发表或撰写过的研究成果，也不包含为获得义津理工大学或其他教育机构的学位或证书而使用过的材料一同工作的同志对本研。与我究所做的任何贡献均已在论文中作了明确的说明并表示了谢意。—，

3、学位旅丈作者签名签李可期：ｉｌ年月旬［？Ｊｉ学侄冷文敕权使巧援权书本学位论文作者完全了解欠津理工大学有关保留、使用学位论文的规定。特授权义津理工大学可Ｗ将学位论文的全部或部分内容编入、，有关数据库进行检索，并采用影印缩印或扫描等复制手段保存、汇编。送交论文的复本和电子Ｗ供查阅和借同意学校向国家口或机构阅有关部文件。（保密用）的学位论文在解密后适本授权说明冷文作者答名；导签学佐种令寺和＂日日巧：月司期；月签李期。签李年２年Ｉｊ七ｊ５分类号：TP393520.

4、3040密级：天津理工大学研究生学位论文网络空间安全大数据实时计算平台关键技术研究（申请硕士学位）学科专业：计算机科学与技术研究方向：网络安全作者姓名：姚欣指导教师：王劲松2016年3月ThesisSubmittedtoTianjinUniversityofTechnologyfortheMaster’sDegreeResearchonKeyTechnologiesofReal-TimeComputingPlatformInCyberspaceSecurityAreaByXinYaoSupervi

5、sorJinsongWangMarch2016摘要近些年来，接入设备的激增、网络应用的不断涌现和互联网流量的爆发式增长使得网络规模迅速扩大、网络环境日益复杂，开展网络安全分析工作的难度越来越大。与以往相比，网络攻击的隐蔽性更强而且更加难以防范，有针对性的大规模恶意网络攻击也愈发常见，网络安全形势依然不容乐观。当前，网络安全分析系统所面临的挑战不仅仅来自于攻击手段和技术的不断进化，计算速度以及横向扩展能力已成为制约基于传统架构模式的网络安全分析系统向复杂网络环境迁移的主要瓶颈，海量的数据规模已经远远

6、超过了其处理能力的极限。本文首先从系统架构入手，提出了一种以开源大数据技术为依托的网络安全实时计算平台设计方案，该设计方案共包含七个层次，每一层都作为一个功能实体向上提供服务。平台架构中各层的实现都依赖于高性能分布式技术，如Storm、Spark、Kafka、Flume等，涵盖了集群资源管理、分布式协调、数据持久化存储、计算引擎等方面。该架构可以同时提供实时计算、离线处理、图计算等多种类型的数据处理服务，而且能够很好地满足海量数据存储需求。在这种以大数据技术为中心的架构模式之上，本文实现了一个面向

7、天津教育城域网的实时流量监控系统。该流量监控系统在底层计算引擎上同时部署了多项数据处理业务逻辑，可以实现对多种类型DDoS攻击的预警与检测。本文所设计的DDoS攻击检测算法主要包括指数加权移动平均算法（EWMA）、异常流量区间定位算法和攻击类型判别规则这三个部分：EWMA算法按照指数递减的方式来为历史数值赋予权重并计算下一时刻的预估值，通过对比实际测量值和预估值就可以判别出网络流量的异常波动；与EWMA的分析结果相结合，异常流量区间定位算法能够实现对网络流量异常时段的准确定位；攻击类型判别算法则为

8、不同类型的DDoS攻击提供了有针对性的判别规则。本文从系统吞吐量、Worker并发数、节点负载等维度对系统性能进行了深入的分析和讨论，而在验证DDoS攻击检测有效性的过程中，本文将天津教育城域网Netflow数据与绿盟抗DDoS系统（Anti-DDoSSystem）日志相结合，通过ADS日志压缩、数据处理、数据分析等操作步骤实现了对本系统DDoS攻击事件检测效果的评估。最后，本文借助多项网络负载指标对天津教育城域网流量变化情况进行了深入分析和探究。关键词：网络空间安全大数据技术系统