面向骨干网络流量统计的聚集计算研究

《面向骨干网络流量统计的聚集计算研究》由会员上传分享，免费在线阅读，更多相关内容在学术论文-天天文库。

1、学校代码10530学号200711021234分类号TP301密级硕士学位论文面向骨干网络流量统计的聚集计算研究学位申请人梁峰指导教师刘任任教授谭建龙副研究员学院名称信息工程学院学科专业计算机软件与理论研究方向信息安全二○○九年五月五日ResearchonAggregationComputationforFlowStatisticsofBackboneNetworkCandidateLiangFengSupervisorProf.LiuRenrenAssociateResearcherTanJianlongCollegeThe

2、CollegeofInformationEngineeringProgramComputerSoftwareandTheorySpecializationInformationSecurityDegreeMasterofEngineeringUniversityXiangtanUniversityDate2009.5.5湘潭大学硕士论文面向骨干网络流量统计的聚集计算研究湘潭大学学位论文原创性声明本人郑重声明：所呈交的论文是本人在导师的指导下独立进行研究所取得的研究成果。除了文中特别加以标注引用的内容外，本论文不包含任何其他个人

3、或集体已经发表或撰写的成果作品。对本文的研究做出重要贡献的个人和集体，均已在文中以明确方式标明。本人完全意识到本声明的法律后果由本人承担。作者签名：日期：年月日学位论文版权使用授权书本学位论文作者完全了解学校有关保留、使用学位论文的规定，同意学校保留并向国家有关部门或机构送交论文的复印件和电子版，允许论文被查阅和借阅。本人授权湘潭大学可以将本学位论文的全部或部分内容编入有关数据库进行检索，可以采用影印、缩印或扫描等复制手段保存和汇编本学位论文。涉密论文按学校规定处理。作者签名：日期：年月日导师签名：日期：年月日I湘潭大学硕士论

4、文面向骨干网络流量统计的聚集计算研究摘要近年来，随着互联网的发展，越来越多的新型应用对传统数据库技术提出了挑战。一个显著的改变就是数据以一个无限的值序列的方式源源不断地产生。数据流（datastream）的处理与实际应用密不可分，股票交易记录、网络流量、传感器网络中的数据、web日志等等。其中骨干网络流量统计是最为典型的例子之一，数据量非常庞大，而且持续速度也很惊人。2008年我国骨干网络上31个省的总流量大于12TB/S，而且这个速度在逐渐增大。于是对这些数据进行查询、分析的难度越来越大。因此在一个远小于数据规模的内存空间里

5、不断更新一个代表数据集的概要数据结构（synopsisdatastructure）成为了研究的重点和难点。本文对数据流研究进行了相关工作的叙述，并在面向骨干网络流量统计这一应用背景下明确了研究方向，然后在现存的概要数据结构的基础上，提出了K-BloomFilter结构，并从理论上对假阳性误判进行了分析，得出了两者具有相同的在误判率f下表示集合规模的上限n，因此K-BloomFilter的误判率是在00可控范围之内的。我们提出了基于K-BloomFilter的流统计算法，相比3.2.1节中的基于BloomFilter的流统计算法

6、，在相同的空间复杂度和时间复杂度的情况下，统计结果比起基于BloomFilter的流统计算法的误差有了进一步的降低。最后，我们开发了一个基于Netflow流数据的网络流量监测分析系统，应用于骨干网络的在线实时分析。系统的核心部分采用了我们的数据流聚集计算算法。实际应用表明，我们的系统具有良好的实时性和准确性。关键词：数据流；概要数据结构；聚集；K-BloomFilter；II湘潭大学硕士论文面向骨干网络流量统计的聚集计算研究ABSTRACTInrecentyears,withthedevelopmentoftheInterne

7、t,moreandmorenewtypesofapplicationsgivechallengestotechnologyoftraditionaldatabase.Asignificantchangeisthedatageneratedwithoutendbymeansofaninfinitesequenceofvalues.Thedealingofthedatastreamisinseparablewiththepracticalapplication,stockrecords,networkflows,sensornet

8、workdata,weblogsandsoon.Thestatisticsofbackbonenetworkflowisoneofthemosttypicalexamples.Itnotonlyownsaverylargeamountofdata,alsohaveanamaz