数据流突发检测若干关键技术研究

《数据流突发检测若干关键技术研究》由会员上传分享，免费在线阅读，更多相关内容在学术论文-天天文库。

1、分类号!旦!!工学博士学位论文学号丝Q§2Q2§密级垒殛数据流突发检测若干关键技术研究博士生姓名袁志坚学科专业计算机科学与技术研究方向分布计算指导教师贾焰教授国防科学技术大学研究生院二oo八年十月国防科学技术大学研究生院博士学位论文3、在突发模型的建立方面，针对数据流整体数据量波动比较剧烈的情况下进行准确突发检测的问题，提出了流量无关的突发检测方法FFBD，该方法使用单个元素数量与总体元素数量的比值作为单个元素滑动窗口内的聚合函数值，并使用前后两个滑动窗口内的聚合函数值的比值来判断突发。与典型的聚合塔突发检测方法相比，FFBD方法使用多约2％的存储空间，高约5％的

2、计算复杂度，但能有效地规避整体数据流的显著变化对单个元素突发检测带来的影响，有着更好的检测效果。4、在数据流多监测任务协同处理方面，基于数据流滑动窗口模型，提出了一个基于网格划分的多监测任务协同处理方法GD-MMTPM,将监测离群点、监测变化和监测突发等三个监测任务统一起来，使用单遍处理的方式进行统一处理。该方法能同时检测出离群点、变化和突发，且只需维护网格的简单信息，与其它方法相比，能够显著地减少时间复杂度和空间复杂度。综上所述，本文的工作针对数据流中进行突发检测的问题，围绕着该问题的几个挑战进行突破研究，提出了数个算法、方法及模型。由于突发检测在数据流挖掘中的

3、重大理论意义及广阔应用前景，本文对于促进突发检测问题的理论研究和实用化具有一定的理论意义和应用价值。主题词：数据流，数据流挖掘，突发检测，布卢姆过滤器，数据流监测，高效存储第ii页国防科学技术大学研究生院博士学位论文ABSTRACTDatastreamhastwoessentialcharacteristics：mutableandunpredictable．Asabasicandimportantmethodofdataanalysis，burstdetectionondatastreamCandetecttheabnormalchangesofsomespec

4、ificelement’Sfrequencyintime．Consequently，ithasattractedextensiveattentionsfromtheresearchandindustrycommunities．Thistechnologyhasbeenadoptedinmanyapplications，includingthephotonburstdetection，stockfluctuationsdetection，networktrafficfluctuationsdetectionandSOon．Burstdetectionondatast

5、reamisanewresearchfieldand．hasintroducedalotofchallengesandunsolvedproblems．(1)Howtostoretheelementsanditsfrequencyefficiently．Burstdetectionfocusesontheelementschanginggreater，thusallelementsanditsfrequencymustberecorded．ThenumberoftheseelementsiSverylargeandkeepscontinuouslychanging

6、．Thedifferenceofeachelementisalsonotable．Howtostoretheelementsanditsfrequencyefficientlywhilesupportingeffectivequeryingisdefinitelyachallengingwork．(2)Howtoabatetheinfluencewhichthetotalflowincurstosingleelementinburstdetection．Insomeapplicationscenarios，thetotalflowofdatastreamfluct

7、uatesacutelyandcausestheacutefluctuationofthesingleelement’Sfrequency．．Findinganapproachtoabatetheinfluencewhichthetotalflowincurstosingleelementinburstdetectionisworthpayingmoreattentionto．(3)Howtoaccomplishmanymonitoringtasksinparallelandreal—timewithlimitedspaceresourceswithinonepa

8、ss．Bu