基于统计的异常流量发现检测技术.pdf

《基于统计的异常流量发现检测技术.pdf》由会员上传分享，免费在线阅读，更多相关内容在应用文档-天天文库。

1、基于统计的异常流量发现检测技术1.1引言大规模网络流量异常发现技术的本质是在寻找网络自身特征的的异常变化，即在一定的时间和空间范围内，网络自身的特征会发生明显特性的变化，甚至是剧烈的改变。由于恶意代码的在互联网上的传播具有相当的复杂性和行为不确定性，所以对其监测有一定的难度。鉴于网络流量具有自相似性，符合一定周期函数。虽然网络流量随时间在不断增长，但是其曲线仍具有自相似性，特别是在广域网上进行较长周期的统计流量更能显现出自相似性的特点，本章通过统计分析正常的网络流量数据，提出正常情况下描述网络流量的理想曲线的方法，运用统计学方法建立大规模网络流量的数学模型。通过对任意一个时

2、间周期内的流量曲线和正常流量曲线的对比，来发现当前流量是否发生异常，当异常流量达到某个临界量的时候，即可以判断出蠕虫疫情暴发。为此在哈尔滨工业大学的教育网出口上进行半年多的统计分析，验证了上述结论。1.2网络流量模型1.2.1网络流量模型建立的前提条件如果把网络上所有可用资源视为节点P，用P的数量M近似代表网络规模，假设本模型研究的网络对象为N，则本模型适用的N必须符合以下条件：图0-1哈尔滨工业大学校园网流量曲线形状Fig.0-1ThecurveshapeofnetworkflowinHIT第一，单个或少数节点P的状态对整个网络N不会造成很大的影响；第二、N的规模M不会产

3、生突变，整个网络资源利用规律从总体上看在一定时间段内保持相对稳定，网络流量具有周期性。第三、整个网络流量是可检测的，检测方法是对流经出口的流量作镜像，进行旁路监听。以上假设的条件是为了保证N的流量情况是有规律并且是可以被检测的，一般来讲对于一个企业内部网、校园网或是甚至一个省的总出口来讲都符合这种假设。图0-1是哈尔滨工业大学校园网在一个时间段内出如口总流量的统计数据。1.2.2模型建立过程中数据的预处理用函数ft()代表N在t时刻的流量。根据前提条件ft()是一个周期函数。考虑函数ft()在其周期T0中的变化，建立原始周期曲线，图2为原始周期曲线。图0-2原始周期曲线Fi

4、g.0-2Theoriginalcurveshapeinoneperiod由于原始曲线上的点可能会产生突变(例如监测系统突然断电使统计数据量为0等原因)，在对原始数据处理时，利用最小二乘法对原始流量曲线作一下平滑处理。图0-3利用最小二乘法进行线性回归后的曲线Fig.0-3Thecurveshapeafterlinearregressionwiththeleast-squaresprocedure1.2.3建立正常流量模型在建立正常情况下网络数据流模型时，主要从两个方面考虑：流量大小和流量曲线形状。分别构造函数来描述这两个特征量，通过对特征量分析来实现对网络数据流异常的发现

5、。流量的大小在一个周期[T,T+T]内网络流量f(t)的平均值为Avg,如果把T取为时间0原点(T=0),则：TT+0T0òf()t×dtòf()t×dtT0Avg==(2-1)TT00在该周期上致密地取m个样本点，Avg的离散化形式可表示为：m-1åf(ti)×(ti+1-ti)i=0(2-2)Avg=T0其中：tÎ+[T,]TT且t=T,t=+TTi000m同时：t

6、时积累的资料数据显示，Avg的值可以改变为平时的50倍以上甚至更高。曲线形状差异从Avg值上是很难观测出来局部的流量异常。为了确定某一周期内局部流量是否出现了异常，关键要判断出该周期内的函数分布规律是否和正常情况下一样，由于网络绝对流量大小会由于某些正常事件的发生而改变，这种改变和蠕虫暴发时的变化有质的区别，它不会造成流量产生数量级变化，所以在考虑曲线形状的时候，应排除网络绝对流量产生的影响。把流量函数的定义稍作修改，*f(t)*AVG0令：ft()=(2-3)Avg其中：AVG为理想网络的平均流量，这样就可以消除网络流量的大小产生0的影响了。**设Ft()是理想情况下正常

7、网络流量函数，Ft()的曲线形状就是理想网络曲*****线形状，考虑任意周期[T,T+T0]内网络流量ft()，为了表示ft()和Ft()之*间的形状差异，定义函数Qx()。*TT+0**2ò(f(t)-F(t+×x))dt令:*T*(2-4)Qx()=T0取内部积分项为平方的原因是因为考虑到有可能产生正负抵消的因素，x是**相位偏移量，xÎ[0,T)。当x发生变化时相当于调节f(t)和F(t)之间的相位差。0***当Q(x)取得最小值时，说明f(t)和F(t)之间达到了最佳吻合。**令:G(x)=Îmin(Q(x