基于置信半径的分布式聚类算法的研究与应用

《基于置信半径的分布式聚类算法的研究与应用》由会员上传分享，免费在线阅读，更多相关内容在学术论文-天天文库。

1、分类号TP391密级坌珏编号10299S0908081江薄大擎硕士学位论文基于置信半径的分布式聚类算法的研究与应用ResearchandApplicationofDistributedClusteringonConfidenceRadius指导作者教师姓名杨鹤标教授张科泽申请学位级别硕士学科(专业)计算机应用技术论文提交日期2011年11月论文答辩日期2011年12月学位授予单位和日期江苏大学2011年12月答辩委员会主席——张建明——评阅人——独创性声明JIllIllIfIFIrllllIIfY202719

2、3本人郑重声明：所呈交的学位论文，是本人在导师的指导下，独立进行研究工作所取得的成果。除文中己注明引用的内容以外，本论文不包含任何其他个人或集体已经发表或撰写过的作品成果，也不包含为获得江苏大学或其他教育机构的学位或证书而使用过的材料。对本文的研宄做出重要员献的个人和集体，均已在文中以明确方式标明。本人完全意识到本声明的法律结果由本人承担。学位论文作者签名：纭彳斗)垆wf／年『2，月纤日学位论文版权使用授权书江苏大学、中国科学技术信息研究所、国家图书馆、中国学术期刊(光盘版)电子杂志社有权保留本人所送交学位论

3、文的复印件和电子文档，可以采用影印、缩印或其他复制手段保存论文。本人电子文档的内容和纸质论文的内容相一致，允许论文被查阅和借阅，同时授权中国科学技术信息研究所将本论文编入《中国学位论文全文数据库》并向社会提供查询，授权中国学术期刊(光盘版)电子杂志社将本论文编入《中国优秀搏硕士学位论文全文数据库》并向社会提供查洵。论文的公布(包括刊登)授权江苏大学研究生处办理。本学位论文属于不保密留t学位论文作者签名：爿缸皋P湃矽f1年J乙月心日⋯一扩钐抄加27年锄砰日江苏大学硕士研究生毕业论文摘要聚类分析作为数据挖掘的一个

4、重要研究方向，可以有效地挖掘出这些数据背后所包含的知识，在金融、电信、保险业、市场营销、网络异常检测、网络安全、科学决策等方面具有十分重要的应用价值。传统的聚类算法只适用于集中式数据的聚类，随着信息技术、数据库技术、特别是网络技术的快速发展，基于单个服务器的集中式聚类分析己不能适应处理这些分布式、海龟数据的需求。本文在整理归纳前人的研究成果基础上，研究利用对等网络(Peer-to-Peer，P2P)进行分布式海量数据的聚类方法。论文主要工作如下：首先，介绍了分布式聚类算法的基础理论以及国内外相关研究成果，其中

5、包括集中式聚类分析的概述、分布式聚类概述以及基于P2P网络的分布式聚类算法。其次，本文引入了置信半径的思想米加快分布式聚类收敛速度。在此思想基础上，本文先提出了一种基于节点数据密度的分布式K-Means聚类算法。该算法通过计算P2P网络节点上数据分布密度的梯度，找到同一类数据在节点的稠密和稀疏分布，确定稠密数据的置信半径并用以指导下一步的聚类迭代，从而可以用较少的带宽消耗(即迭代数)使网络上的数据聚类快速达到稳定状态。再次，本文在前一个算法的基础上，提出了基于Fisher线性判别率的分布式K-Means聚类算

6、法。该算法根据数据在节点上的局部分布，通过Fisher线性判别率计算出数据稠密分布和稀疏分布的分界，从而确定数据的置信半径并用以指导下一步的聚类。以达到消耗较少网络带宽并提高聚类精度的目的。根据模拟和真实数据所做实验表明，本文所提两个算法与集中式聚类算法以及DFEKM算法相比，在保证聚类精度的基础上，大幅减少聚类时所需迭代数，以及消耗的网络带宽。而基于节点数据密度的分布式K-Means聚类算法与基于Fisher线性判别率的分布式K-Means聚类算法相比，前者在聚类精度上优于后i-者，而后者在算法效率和带宽消

7、耗上优于前者。j关键词：分布式聚类；P2P；K-Means；置信半径江苏大学硕士研究生毕业论丈江苏大学硕士研究生毕业论文ABSTRACTAsanimportantresearchdirectionofdatamining，clusteringCaneffectivelyminetheknowledgebehindindata．Ithaspracticaluseinmanyfieldssuchasfinance，telecommunication，insurancebusiness，marketanalysis

8、，networkanomalydetection，networksecurity,sciencedecision，andSOon．Withtherapiddevelopmentofinformationtechnology,databasetechnologyandnetworktechnology,thetraditionalclusteringalgorithmbasedonacentralse