互联网流量综合处理平台的研究与实现

《互联网流量综合处理平台的研究与实现》由会员上传分享，免费在线阅读，更多相关内容在学术论文-天天文库。

1、第一章绪论1．1引言互联网的高速发展带来的是迅速增长的海量流量数据，网络测量尤其是全流量被动测量数据【1J也是这些海量流量数据中的一部分。对于主干信道速率在1Gbps以上的大规模高速网络，海量数据的采集、存储和分析处理等都是被动测量需要解决的难题。基于被动测量的网络行为学研究工作需要大量的原始流量数据(Trace)，然而只有少数的机构具备从高带宽主干信道上获取并保持流量数据的能力，因此这些通过采集被保存下来的IPTrace是珍贵的研究数据。拥有它们的研究机构一方面用于自行研究，另一方面也会将这些Trace通过互联网公布，这是目前这个领域的一个惯例做法。例如著名的互联网数据分析合作

2、协会CAIDA(CooperativeAssociationofInternetDataAnalysis)，其在长期开展互联网流量数据采集工作的同时，对外有条件发布部分采集到的数据以及针对这些数据的网络负载、网络拓扑等分析结果，并推出了cflowd、skitter等一系列流量数据分析工具。1．2论文研究背景1．2．1互联网流量数据的用途1974年LeonardKleinrock等人在ARPANET上第一次进行了互联网流量数据的测量分析12]。1995年，美国自然科学基金委员会NFSC(TheNaturalScienceFundCommittee)也着手开始了相关研究。1996年初

3、，美国应用网络研究国家实验室NLANR(NationalLabForAppliedNetworkResearch)在美国国家科学基金会NSF(NationalScienceFoundation)的支持下召开了互联网统计与指标分析研讨会13】，对网络流量数据采集应用的难点与迫需解决的问题进行了讨论，这标志着系统化、大规模互联网流量数据采集分析的开始。1997年，互联网数据分析合作协会CAIDA[4】(CooperativeAssociationofInternetDataAnalysis)依托于美国加州大学超级计算中心SDSC(SanDiegoSupercomputerCenter

4、)而成立，它主要研究网络流量数据分析的相关理论和方法。互联网流量数据的重要用途主要体现在以下几个方面：1)互联网流量数据为监测网络安全提供了依据利用海量互联网数据可以及时监测到网络拓扑变化，对异常网络的可生存性进行分析与评估，从而防范大规模网络攻击15J。如可采用报文平均字节、流平均报文数、每小时流数量等测度作为网络是否异常的依据来判断僵尸网络16】【7J18J。2)互联网流量数据为建立精确网络模型提供了基础随着信息技术的快速发展，各种网络应用层出不穷，不同应用具有不同的行为特征和流量特征，仅仅利用经典排队论模型或软件仿真等进行建模分析是远远不够的，互联网实测流量数据为验证并修正

5、理论模型提供了重要基础pJ。在互联网出现后的很长一段时间内，理论建模研究依然建立在电路交换方式下的泊松模型和马尔可夫模型上，然而在深入研究互联网流量特征后发现，其结果与泊松模型有较大差距【10】【11】【12】【13】。由此可见，通过分析互联网流量数据可以帮助人们更加准确地仿真或模拟网络环境，建立更加精确的分析模型。3)互联网流量数据为OoS提供了必要的前提不同的网络应用有不同的网络传输服务要求，主要包括带宽、丢包率、端到端时延、东雨人学坝I：学位论义抖动等Il4

6、，必须通过分析实时的流量数据以评估当前网络对对应应用的支持程度。精确的实时互联网流量数据可以准确地反映网络状态，为实

7、行自适应QoS策略提供必要的前提。4)互联网流量数据是管理网络、诊断网络状态的重要依据通过互联网流量数据可以获取实时的网络性能参数如带宽、延时、丢包率、抖动等，从而及时了解网络运行情况，直观感知网络性能视图以实时有效的网络管理。管理员可以通过分析网络流量数据检测网络拥塞，定位网络性能瓶颈，优化网络资源，并通过对流量数据的长期统计分析来合理分配网络资源，提高资源的利用率和网络的健壮性Il5

8、。1．2．2互联网流量研究的现状随着互联网的飞速发展，网络流量数据海量增加，如何有效地存储和管理这些数据成为了一大难题。一方面，测量数据可能会因为存储介质的硬件损坏或更新以及数据迁移而丢失或乱序

9、；另一方面，如何有效跟踪流量数据，在海量流量数据中找出有价值的信息，合理表述并保存它们则是更加复杂的问题【16J。国际上有一些组织从事流量管理和分析工作，主要侧重于流量数据的分析、摘要和提高可用性。相关工作主要有：1)互联网数据分析合作协会C舢DACAIDA依托于美国加州大学圣地亚哥分校圣地亚哥超级计算中心而建立，旨于维护全球网络环境的健壮性和可扩放性，并提供支持各机构协同工作的中立平台，是最著名的从事互联网流量研究工作的机构。CAIDA最核心的资源是数据，包括分析、共享、可视化