基于网络流相关性的大规模网络异常发现技术研究

《基于网络流相关性的大规模网络异常发现技术研究》由会员上传分享，免费在线阅读，更多相关内容在教育资源-天天文库。

1、哈尔滨工业大学工学硕士学位论文的改变。更进一步而言，行为特征的改变并不是孤立的，往往一个异常事件会引起多个特征的改变。因此发现和建立正常的网络行为特征，观察和分析网络行为特征的变化以及分析特征间的相关性是一种较为有效的异常发现手段。要解决的问题包括两个方面：（1）网络自身的行为特征包括哪些，以及如何建立特征的正常行为量；（2）行为特征间是否存在着某种关联。考虑到大规模网络下的数据特性，需要在更高的粒度上研究网络本身的行为特征，以便提供更为有效的网络异常发现手段。针对高速网络环境下大规模网络异常发现的特点和难点，本课题要在基于流级别的网络行为特征上进行分析和研究，使用特

2、征表示网络流并研究网络流的相关性，最后将其应用到异常发现中。流行为特征在网络发生异常的时候，行为量也会随着发生相应的改变。以流行为的动态变化作为研究对象可以在更高的粒度上研究网络行为特征。而以流行为特征为基础的网络流相关性研究可以提高大规模异常事件发现的准确性，也可以加快大规模异常事件的发现过程。1.2国内外研究现状目前国内外研究主要侧重在流量整体的统计分析。在80年代末期到90 年代初期间，由W.Leland等[3]在长达四年的对Bellcore研究中心局域网数据的观测中发现：（1）以太局域网流量具有统计自相似性并且与流量的采集时间和地点无关；（2）以Hurst参数

3、H的值作为自相似度的度量，可以很好地测量流量的突发性（H的值越高流量就越突变）；（3）与局域网相关联的网络流量也同样具有类似的自相似特性；（4）目前的Internet流量模型都已 经不能刻画网络的自相似特性，需要建立新的流量模型。然后由Paxson等[4]发现在广域网中同样有自相似特性，并且明确地提出经典的理论分析如泊松过程和马尔可夫模型，不再适合网络流量的分析和建模。Beran等[5]在研究可变比特率的视频流量中也发现了长相关性，即自相似性。图1-1显示了有着泊松到达速率的电话流量和没有泊松到达速率的Internet流量在突发性上的不同。平均泊松过程在较长的时间域上

4、降低了突发性，而Internet流量在不同的时间尺度上表现同样的突发性。这意味着在电话网络中流量的峰值在出现的频率和激烈程度上是有限的，然而在Internet中就不会成立，突发性既不会平滑化，也不能通过缓存技术来处理有害的影响，表明泊松过程已经不能刻画实际的Internet流量。-2-哈尔滨工业大学工学硕士学位论文PoissonMeasured图1-1电话流量和Internet流量的突发性对比Figure1-1BurstinessinordinarytelephonetrafficandinternettrafficCrovella等[6]进行了更深入的研究，不仅验证

5、了WWW流量中存在的自相似特性，并且给出了一种对于这种自相似性的解释：一方面是WWW文件大小的不同导致的文件传输次数不同引起的，另一个方面是用户的“思考时间”。图1-2显示了突发性的发现和相关的现象[13]。多尺度上的突发性是首先被观察到的，接着的研究引出了自相似的发现和文件大小的重尾分布以及传输时间。HeavyTailsFiles,TransmissionTimesOrderofDiscoveryTimesPackets,SessionsOrderofExplanationPackets,Sessions DependenceBurstinessonMultiple

6、Scales图1-2Internet流量现象因果关系Figure1-2Internettrafficphenomena’scauseandeffect-3-哈尔滨工业大学工学硕士学位论文当前的研究也发现在不同的测量时间尺度上Internet流量特征亦不相同。实际测量表明Internet流量特征随着测量时间长度而变化，主要有三个主要的分段：1.在非常短的时间尺度上，最多几百毫秒，协议影响（主要是传输控制协议TCP）占着统治地位。目前研究表明这种流量需要一种特殊的分形来刻画[7,8]。2.在较长的时间尺度上，一般是103ms到103s，覆盖了大概4个数量级，流量表现为单重

7、分形或自相似行为，说明了这些尺度上流量的突发性。3.在更长的时间尺度上，一般是小时、天、星期或更长的时间周期，流量表现出一定周期效应[11,12]，说明了这些尺度上流量与用户的行为紧密相关。其中中间的分段是研究的重点，因为大部分的网络研究都必须处理这个时间尺度上的行为。研究过程中陆续发现了某些表征网络行为的固定特征。网络特征是指在很大范围的环境中可以被任何的观察者所观察得到的保持不变的网络行为的某些方面。网络特征刻画了网络及其应用在某一个层次或方面的性质。表1-1给出了一些关于网络及其应用某方面性质的特征以及其分布[13]。表1-1一些网络特征的概率