基于高维稀疏数据的离群聚类方法研究

《基于高维稀疏数据的离群聚类方法研究》由会员上传分享，免费在线阅读，更多相关内容在学术论文-天天文库。

1、分类号TP391密级公开重庆邮电大学硕士学位论文论文题目基于高维稀疏数据的离群聚类方法研究英文题目ResearchonOutlyingClusteringbasedon硕士研究生指导教师Highdimensionalsparsedata贺改利张力生副教授论文提交日期2Q!!生旦论文答辩日期2Q!!生旦旦论文评阅人答辩委员会主席毛为人2011年月日独创性声明本人声明所呈交的学位论文是本人在导师指导下进行的研究工作及取得的研究成果。据我所知，除了文中特别加以标注和致谢的地方外，论文中不包含其他人已经发表或撰写过的研究成果，也不包含为获得重瘥整电盔堂或其他教育机构的学位或证

2、书而使用过的材料。与我一同工作的同志对本研究所做的任何贡献均已在论文中作了明确的说明并表示谢意。学位论文作者躲喂妇I／签字日期：弘If年f月／。日学位论文版权使用授权书本学位论文作者完全了解重麽由匿电太堂有关保留、使用学位论文的规定，有权保留并向国家有关部门或机构送交论文的复印件和磁盘，允许论文被查阅和借阅。本人授权重庞邮电太堂可以将学位论文的全部或部分内容编入有关数据库进行检索，可以采用影印、缩印或扫描等复制手段保存、汇编学位论文。(保密的学位论文在解密后适用本授权书)学位论文作者签名：唆波引签字日期：p11年6月loll导师躲粒显签字日期秽D／r／年6月肜El／／

3、重庆邮电大学硕+论文摘要JIIIIrlllrlllFlUIIf、t1989810随着数据库与信息技术的迅猛发展，数据成为一种至关重要的财富，如何发现隐藏在这些错综复杂的数据集中的潜在有用的知识，并且如何对这些知识加以利用，成为了人们研究和关注的热点。数据库中包含一些数据对象，它们与大多数数据的一般行为或模型不一致，这些数据对象被称作离群点，通常也可被称为偏离点、孤立点、噪音、异常点等。绝大多数的数据挖掘算法把离群点视为异常或噪声而丢弃，然而在一些实际应用中，罕见事件比正常出现的事件更具有研究价值。目前针对离群点进行的研究主要是离群数据挖掘，其目的大多是为了去除离群点而

4、获得较好的聚类效果。较少涉及对离群点进行深入地分析，比如找出数据离群的原因以及离群特征等。因此，对离群点进行更深入地分析是用户针对异常问题进行决策的前提条件。本文在归纳总结了高维数据聚类的国内外发展现状和离群聚类的研究现状基础上，分析其存在的重点和难点，针对离群子空间的搜索方法和基于子空间的聚类算法进行了重点研究。首先，针对离群子空间搜索NP(NondeterministicPolynomial)难的问题，本文依据幂图在扩展过程中的剪枝策略，实现了一种基于幂图的子空间搜索算法。将对幂图的扩展看作是对子空间的搜索，仅扩展剪枝后的幂图，该方法不仅避免了对大量子空间的遍历，

5、同时也减少了所需要的存储空间。其次，为了能够对每个离群点的离群含义进行解释，并且对不同类的离群数据的离群原因进行分析，本文对基于超图模型的聚类算法进行了改进。从超图构造和评估函数两方面出发，对原算法进行改进，使得基于超图模型的聚类算法对各类数据都有很好的伸缩性，并且能够把离群点进行分类处理。最后，通过算法分析和实验对比验证了本文提出的算法的有效性和可伸缩性。关键词：幂图，显著子空间，离群子空间，离群划分相似度，超图knowledgehiddeninthesecomplexdataandhowtousetheprovestobestudiedandconcernedho

6、tbypeople．Somedatawhichareinconsistentwiththegeneralbehaviororthemodelofthemostdatacontainedinthedatabasearecalledoutliers，usuallyalsocalleddeviationpoints，noises，abnormalpoints，etc．Mostoftheoutlierdetectionmethodsregardtheoutliersasnoisesorabnormalpointsanddiscardthem．Howeverinsomeprac

7、ticalapplications，therareeventshavemorevalueofresearchthanthenormalevents．Atpresentmostresearchesfocusonstudyingefficientalgorithmsforminingoutliersandfewresearchdeeplyanalyzetheoutliers，suchasfindingtheoutlyingreasons，theoutlyingfeaturesandSOon．Thereforefurtheranalysisofoutlie