网络异常检测算法研究

《网络异常检测算法研究》由会员上传分享，免费在线阅读，更多相关内容在学术论文-天天文库。

1、网络异常检测算法研究（申请清华大学工学博士学位论文）培养单位：计算机科学与技术系学科：计算机科学与技术研究生：王子玉指导教师：杨家海教授二〇一＾ｂ年六月ＲｅｓｅａｒｃｈｏｎＮｅｔｗｏｒｋＡｎｏｍａｌＤｅｔｅｃｔｉｏｎｙＡｌｏｒｉｔｈｍｓｇＤｉｓｓｅｒｔａｔｉｏｎＳｕｂｍｉｔｔｅｄｔｏＴｓｉｎｈｕａＵｎｉｖｅｒｓｉｔｇｙｉｎａｒｔｉａｌｆｕｌｆｉｌｌｍｅｎｔｏｆｔｈｅｒｅｕｉｒｅｍｅｎｔｐｑｆｏｒｔｈｅｄｅｒｅｅｏｆｇＤｏｃｔｏｒｏｆＰｈｉｌｏｓｏｈｐｙｉｎＣｏｍｕｔｅｒ

2、ＳｃｉｅｎｃｅａｎｄＴｅｃｈｎｏｌｏｐｇｙｂｙＺｉｙｕＷａｎｇＤｉｓｓｅｒｔａｔｉｏｎＳｕｅｒｖｉｓｏｒ：ＰｒｏｆｅｓｓｏｒＪｉａｈａｉＹａｎｐｇＪｕｎｅ２０１７，摘要摘要如何及时，准确地检测出网络中的异常事件，对于网络的安全具有十分重要的意义。相较于传统的基于特征匹配的误用检测，异常检测具有计算负担小，能够检测零日攻击以及不受加密流量影响的优势，因而成为学术界研究的热点。当前提出的各种异常检测方法普遍存在以下几点不足：１）较低的检测率和较高的误报率；２）模型的建立和选择相当困难３）数据污染会影响建模

3、精度；４）难以满足骨干网高速链路实时检测的要求。为此，本文基于对网络流量的分析，提出了几种高效的异常检测算法，深入地研究了模型选择问题，并对大数据技术和异常检测的结合进行了初步的探索和实验。本文主要的贡献和创新点如下：１一－ｆｉ－．本文提出了两个线性相关的流量特征ＩＧＴＥ（ＩｎｔｅｒＧｒｏｕｐＴｒａｃＥｎｔｒｏＩＧＦＥＩｔ－ＦｌｏｗＥｎｔｒｏｐｙ）和（ｎｅｒＧｒｏｕｐｐｙ），并据此提出了线性回归检测算法。随后，本文又将线性回归检测算法扩展为非线性以容纳更多的流量特征，并提出了基于证据函数（ＥｖｉｄｅｎｃｅＦｕｎｃｔｉｏｎ）自动确

4、定最佳阶数的模型选择算法。２．本文观察到数据污染会影响线性回归检测算法的建模精度，并据此提出了鲁棒性更强的Ｍ－估计检测算法。？３？本文提出了两种基于最小均方自适应滤波器（ＬｅａｓｔＭｅａｎＳｑｕａｒｅＡｄａｐｔｉｖｅＦｉｌｔｅｒ）的异常检测算法。这两种算法能够基于部分采集数据输出检测结果，并能够根据当前网络的状态自适应地调整权值，从而适合于实时异常检测。４．为了提高异常检测对于不同网络环境和不同异常种类的鲁棒性和可靠性，本文提出了一种结合多个检测算法的整合算法，并基于流计算平台ＡｐａｃｈｅＳｔｏｒｍ实时地实现了该整合算法，

5、从概念上验证了利用大数据技术实现实时异常检测的可行性。关键词：异常检测；回归方程；最小均方自适应滤波；大数据；熵ＩＡｂｓｔｒａｃｔＡｂｓｔｒａｃｔＨｏｗｔｏｄｅｔｅｃｔａｎｏｍａｌｉｅｓｔｉｍｅｌｙａｎｄａｃｃｕｒａｔｅｌｉｓｏｆｒｅａｔｓｉｎｉｆｉｃａｎｃｅｔｏｎｅｔｗｏｒｋｙｇｇｓｅｃｕｒｉｔ．Ｃｏｍａｒｅｄｗｉｔｈｔｒａｄｉｔｉｏｎａｌｍｉｓｕｓｅｄｅｔｅｃｔｉｏｎｗｈｉｃｈｉｓｂａｓｅｄｏｎｆｅａｔｕｒｅｍａｔｃｈｉｎｙｐｇ，ａｎｏｍａｌｙｄｅｔｅｃｔｉｏｎｈａｓｔｈｅａｄ

6、ｖａｎｔａｇｅｓｏｆｓｍａｌｌｃｏｍｐｕｔａｔｉｏｎａｌｌｏａｄ，ｔｈｅａｂｉｌｉｔｙｔｏｄｅｔｅｃｔｚｅｒｏ－ｄａａｔｔａｃｋｓａｎｄｔｈｅｆｅａｔｕｒｅｏｆｂｅｉｎｎｏｔｉｎｆｌｕｅｎｃｅｄｂｅｎｃｒｔｅｄｔｒａｆｆｉｃｔｈｕｓｉｔｙｇｙｙｐ，ｂｅｃｏｍｅｓａｈｏｔａｃａｄｅｍｉｃｔｏｐｉｃｉｎｒｅｃｅｎｔｅａｒｓ．Ｓｏｆａｒ，ｃｕｒｒｅｎｔａｎｏｍａｌｄｅｔｅｃｔｉｏｎｍｅｔｈｏｄｓｙｙｃｏｍｍｏｎｌｙｈａｖｅｔｈｅｆｏｌｌｏｗｉｎｇｄｒａｗｂａｃｋｓ：１）ｔｈｅｄｅ

7、ｔｅｃｔｉｏｎｒａｔｅｉｓｌｏｗａｎｄｔｈｅｆａｌｓｅａｌａｒｍｒａｔｅｉｓｈｉｈ２ｍｏｄｅｌｅｓｔａｂｌｉｓｈｍｅｎｔａｎｄｓｅｌｅｃｔｉｏｎｉｓｎｏｔｅａｓ３ｔｈｅｅｆｆｅｃｔｉｖｅｎｅｓｓｏｆｔｈｅｇ；）ｙ；）ｄｅｔｅｃｔｉｏｎｍｏｄｅｌｃａｎｂｅａｆｆｅｃｔｅｄｂｙｎｅｔｗｏｒｋａｎｏｍａｌｉｅｓａｎｄｂｕｒｓｔｔｒａｆｆｉｃ；４）ｉｔｉｓｄｉｆｆｉｃｕｌｔｔｏｔ－ｍｅｅｔｈｅｉｔｓｆｒｅａｌｔｉｍｅｄｔｔｉｂｋｂｏｎｌｉｔｆｆｉ．Ｂｔｈｌｉｓｒ