资源描述：
《流数据统计算法研究》由会员上传分享，免费在线阅读，更多相关内容在学术论文-天天文库。
1、华中科技大学博士学位论文流数据统计算法研究姓名：聂国梁申请学位级别：博士专业：计算机应用技术指导教师：卢正鼎20060509华中科技大学博士学位论文远远小于数据长度的空间，通过对流数据进行窗口划分，为单个窗口保留少量的分布信息，再综合所有窗口信息，从而对流数据的密度分布进行实时评估。以上的统计都反映了流数据的当前状态，而没有描述出流数据状态的变化情况，为此设计了一种流数据变化检测方案。该方案采用在两个相邻窗口中出现次数变化大的元素来描述流数据的变化：首先，把单个窗口中的流数据划分成若干层，在每层上对元素值域进行分段；然后，在每层上定义若干分段集合，并对分段集合进行求和运算；最后，通过
2、对两个窗口的概要结构进行合并，利用集合分解，求得出现次数变化大的元素，以描述流数据的变化情况。该方案以一定的概率，输出满足条件的元素，而需要的空间却远远小于流数据尺寸。关键词：流数据，统计算法，近似算法，实时算法，概要结构，聚集统计，热门元素，密度估计-II-华中科技大学博士学位论文AbstractInagrowingnumberofinformation-processingapplicationsinrecentyears,datatakestheformofcontinuousdatastreamsratherthantraditionalstoreddatasets.Thes
3、eapplicationareasincludenetwork-trafficmonitoring,computer-networksecurity,dataminingforecommerce,sensornetworks,financialmonitoringandmanymore.Datastreamismodeledasaninfinitesequenceoffinitelistselements,anddiffersfromtraditionaldatainfourprimaryaspects:(a)continuity,(b)unknownorunboundedlengt
4、h,whichresultsinitnotfeasibletosimplyloadthearrivingdataintoatraditionaldatabasemanagementsystem(DBMS)orloaditintomainmemory,(c)velocityvariability,and(d)justone-passaccess.Thesecharacteristicsgivebirthtotheconclusionthatoperationondatastreammustsupportone–passaccesstodatastream;theresultsofsta
5、tisticareapproximation;datastreammanagementsystemsmustsupportcontinuousqueries.BecausetraditionaltechniquesofDBMScannotmanagedatabaseeffectively,manyresearchersandinstituteshavebeeninvestigatingtheareasofdatastream.Thestatisticsoverdatastreamreflectsthecurrentstateofdatastream,andplaysanimporta
6、ntroleindecisionsupportsystems(DSS).Itisafoundationresearchtodataminingalso.Traditionalstatisticsisnotsuitablefordatastreams,soitisnecessarytostudystatisticoverdatastream.Thispaperstudiesmanyquestionsinstatisticoverdatastream,suchasaggregationfunctions,hotelementsfinding,densityestimating,chang
7、edetectingandsoon.First,thispaperstudiestheaggregationfunctionsofdatastreaminslidingwindow.Theslidingwindowmodelisusefulfordiscountingstaledataindatastreamapplications.Inthismodel,dataelementsarrivecontinuallyandonlythemostrecentN
