基于模糊聚类的大规模数据聚类算法及其应用研究

《基于模糊聚类的大规模数据聚类算法及其应用研究》由会员上传分享，免费在线阅读，更多相关内容在学术论文-天天文库。

1、基于模糊聚类的大规模数据聚类算法及其应用研究作者姓名杨果利导师姓名、职称李阳阳副教授一级学科电子科学与技术二级学科电路与系统申请学位类别工学硕士提交毕业论文日期2014年11月学校代码10701学号1202120853分类号TP18密级公开西安电子科技大学硕士学位论文基于模糊聚类的大规模数据聚类算法及其应用研究作者姓名：杨果利一级学科：电子科学与技术二级学科：电路与系统学位类别：工学硕士学校导师姓名、职称：李阳阳副教授提交日期：2014年11月AStudyofLarge-ScaleDataClusteringBasedonFu

2、zzyClusteringandItsApplicationAthesissubmittedtoXIDIANUNIVERSITYinpartialfulfillmentoftherequirementsforthedegreeofMasterinElectronicScienceandTechnologyByYangGuoliSupervisor:A.P.LiYangyangNovember2014西安电子科技大学毕业论文独创性（或创新性）声明秉承学校严谨的学风和优良的科学道德，本人声明所呈交的论文是我个人在导师指导下进行的研

3、究工作及取得的研究成果。尽我所知，除了文中特别加以标注和致谢中所罗列的内容以外，论文中不包含其他人已经发表或撰写过的研究成果；也不包含为获得西安电子科技大学或其它教育机构的学位或证书而使用过的材料。与我一同工作的同志对本研究所做的任何贡献均已在论文中做了明确的说明并表示了谢意。学位论文若有不实之处，本人承担一切法律责任。本人签名：日期：西安电子科技大学关于论文使用授权的说明本人完全了解西安电子科技大学有关保留和使用学位论文的规定，即：研究生在校攻读学位期间论文工作的知识产权单位属于西安电子科技大学。学校有权保留送交论文的复印件

4、，允许查阅、借阅论文；学校可以公布论文的全部或部分内容，允许采用影印、缩印或其它复制手段保存论文。同时本人保证，获得学位后结合学位论文研究成果撰写的文章，署名单位为西安电子科技大学。保密的学位论文在年解密后适用本授权书。本人签名：导师签名：日期：日期：摘要摘要随着现代科技的发展，人类迈入了信息社会，各行各业的信息数据呈现爆发式的增长。如何从这些海量数据中找到真正有用的信息成为人们关注的热点。数据挖掘（Datamining）技术是信息决策和数据库知识发现的重要工具，聚类技术便是数据挖掘技术中一个非常重要的手段。聚类技术目的是将大

5、量样本或抽象的数据按照相互之间的相似性分成若干个子集合，从而发现数据的结构，帮助人们更好的了解数据之间隐藏的信息。信息科技的进步，导致信息规模增长越来越快，样本包含的特征也越来越复杂，很多传统聚类算法都已无法应对如此大规模的数据，研究人员将注意力转移到能够适应复杂海量数据的新型算法上。本文将结合传统模糊聚类算法并引入流数据聚类的概念，提出了针对海量数据的流数据聚类模型，使算法能够适应大规模数据集。本文主要工作如下：（1）提出了一种基于传统点密度加权FCM聚类算法的适应较大规模手写数字图片识别的方法。本方法根据现有流数据聚类方法

6、，每次读取一个数据点，每次循环只对一个点和现有聚类中心计算隶属度，根据隶属度的最大值来决定是否令该点直接参与聚类模型的更新。本算法的关键步骤就是设计了一个基于流数据的聚类框架，结合在线k-means算法模型更新方法和点密度加权的FCM算法，实现了one-by-one的在线聚类来进行无监督方式的手写数字识别。本算法避免了同时处理所有数字图像数据，极大地减轻了大规模数据处理时对计算机硬件的要求，同时与现有的分块的WFCM算法相比，由于大部分点直接参与了聚类模型的更新，减少了调用WFCM算子的次数，从而节省了计算时间，降低了时间的复

7、杂度，更适合处理规模较大的手写数字图片数据。（2）基于上一部分提出的流数据处理框架，提出了一种改进的流数据处理方法，由于之前提出的算法是基于点密度加权的FCM算法，虽然该算法根据数据样本周围的密度来给每一个数据点加权值以突显出周围密度较大的特点，一定程度上提高了算法的收敛速度，但这种算法需要给数据池中的每一个点都计算权值，这在一定程度上增加了算法的计算复杂度。为了避免这种现象，本章我们提出了一种在SPFCM基础上改进的流数据聚类算法，这个算法在上一章中已经使用过。这个算法的基本原理也是给每个样本点进行加权，但每个样本点的权值都

8、初始化为1，只有聚类中心的权值会不断增加，每多一个点对应的聚类中心的权值就会增加。这样在对后来进入的数据块进行聚类时，这些权值较大的点就更容易成为聚类中心。（3）对现有的社区检测算法做了深入研究发现，社区检测问题和数据聚类问题有很多相似的地方，且目前已有很多用聚类手段来做社区