资源描述：
《数据流聚类算法及其应用(可编辑)》由会员上传分享，免费在线阅读，更多相关内容在教育资源-天天文库。
1、数据流聚类算法及其应用南京邮电大学硕士学位论文数据流聚类算法及其应用姓名:余志虎申请学位级别:硕士专业:计算机应用技术指导教师:程春玲2011-03南京邮电大学硕士研究生学位论文摘要摘要近年来,伴随着网络信息技术的高速发展,产生了一种新式的数据模型??数据流。它常常产生于web上的用户点击、网络入侵检测、实时监控系统或无线传感器网络等动态环境中。相比较传统据集,这些海量的数据流具有快速性、连续性、变化性、无限性等特点,使数据流的挖掘面临着新的要求和挑战。聚类分析作为数据挖掘领域的一个重要课题,能够使未标记数据按照指定属性分组为不同的类,在近期得到广泛研究和高度重视。本文以数据流聚类算法为研
2、究内容,异常数据点的检测为研究目标,主要作了以下三个方面的工作:1总结了数据流模型及其聚类的相关概念和技术,并描述了数据流聚类的特殊要求以及目前国内外数据流聚类算法。同时说明了异常检测的定义、现有方法以及当前所面临的挑战。2在高速网络中,数据流具有高速、突发等特性,使得高速网络中的异常检测成为一个难点。本文提出了一种基于SSClu树的流聚类算法用于高速流的异常检测。算法首先引入一种维持数据流概要信息的SSClu树;然后针对数据流的高速特性,采用预先聚集和缓存机制。预先聚集是在数据流对象插入SSClu树聚类之前对其进行预先聚类的过程,以处理突发高速数据流的到达;缓存机制是用于当高速流到达时,
3、暂存当前来不及处理的数据流对象,解决了高速流不能及时聚类的问题。仿真结果表明,本算法能及时处理高速数据流,且具有较高的聚类精度,保证了高速流下异常检测的准确性。3针对无线传感器网络中的离群点检测问题,考虑到无线传感器网络WirelessSensorNetwork,WSN环境分布式以及能源消耗的限制,提出了一种基于相似性群集模型的流聚类算法StreamClusteralgorithmBasedonSimilarityFlockingmodel,SCBSF。算法采用一种模拟群体运动的群集模型将数据自我组织来形成聚类,这种自组织性更加适用于分布式环境批量数据点的聚类;同时通过群集规则来完成任意形
4、状簇的聚类,而不需要采用传统二阶段聚类思想,减少了算法计算和存储复杂度;考虑到WSN中算法的能耗问题,在采集节点端,利用初始聚类信息来临时记录所产生的相似数据特征,以此来减少数据传输从而达到降低通信能耗的效果。仿真结果表明,算法不仅具有较好的离群点检测效果,同时也降低了聚类过程中数据计算和传输的能源消耗。关键词:数据流模型,聚类算法,异常检测,高速流,无线传感器网络I南京邮电大学硕士研究生学位论文ABSTRACTABSTRACTRecently,withtherapiddevelopmentofinformationtechnology,anewdatamodelcalledthedata
5、streamappears.Itoftenarisesfromdynamicenvironmentsuchasuserclickingontheweb,networkintrusiondetection,real-timemonitoringsystemsorwirelesssensornetworks.Comparedtotraditionaldatasets,thesevastamountsofdatastreamshavefast,continuity,variety,infinityandothercharacteristics.Sodatastreamminingisfacing
6、newdemandsandchallenges.Clusteranalysisasadataminingtoolisanimportanttopic,becauseitmakesthedatawithoutmarkergroupintodifferentclassesinaccordancewiththespecifiedattributes,andhasbeenwidelystudiedandhighlyregardedinthenearfuture.Inthispaper,wedoresearchondatastreamclusteringalgorithmandanomalydete
7、ctionThemaintasksaredescribedasfollows:1Wemakeasummaryofthedataflowmodelandrelatedconceptsofcluster,anddescribethespecialrequirementsandarithmeticofcurrentdatastreamclustering;thedefinitionofanomalydetection,thee
