基于DPC算法混合属性数据流聚类研究

《基于DPC算法混合属性数据流聚类研究》由会员上传分享，免费在线阅读，更多相关内容在学术论文-天天文库。

1、硕士学位论文基于DPC算法混合属性数据流聚类研究作者姓名曾嘉豪学科专业统计学指导教师孙艳副教授所在学院经济与贸易学院论文提交日期2018年4月TheResearchonClusteringofMixedDataStreambasedonDPCAlgorithmADissertationSubmittedfortheDegreeofMasterCandidate：ZengJiahaoSupervisor：AssociateProfessorSunYanSouthChinaUniversityofTechnolog

2、yGuangzhou,China分类号：C813学校代号：10561学号：201520135658华南理工大学硕士学位论文基于DPC算法混合属性数据流聚类研究作者姓名：曾嘉豪指导教师姓名、职称：孙艳副教授申请学位级别：经济学硕士学科专业名称：统计学研究方向：数据挖掘论文提交日期：2018年4月19日论文答辩日期：2018年5月17日学位授予单位：华南理工大学学位授予日期：年月日答辩委员会成员：主席：刘纪显教授委员：孙坚强副教授、吴浩存副教授、颜波教授、范闽副教授摘要聚类分析是数据挖掘领域一项重要的研究课题。随着

3、大数据时代的到来，数据流在很多领域得到应用，数据流聚类也成为一项意义深远而且具有挑战性的技术。与传统的静态数据相比，数据流是高速的、动态的、变化的。数据流的这些特性，给数据流聚类带来了困难。此外数据流的高维性、混合属性和海量性等特征对数据流聚类提出了更高的要求。本文将针对以上问题展开研究，提出适应数据流特性且有效处理数据流高维性、混合属性和海量性等问题的数据流聚类算法。本文包括以下四个方面内容：第一，讨论数据流聚类相关问题，概述数据流的特点和数据流处理模型，比较分析数据流聚类方法；第二，研究混合属性数据处理过程

4、，针对数据流的特点进行数值型数据标准化、高维数据降维和混合属性数据度量方法的讨论；第三，针对DPC算法无法处理混合属性数据、截断距离的选取影响密度的计算和无法处理大规模数据三个方面的不足，分别提出基于信息熵的混合属性数据处理方法改进DPC算法的距离值计算、采用KNN非参数核密度估计方法改进DPC算法的密度值计算和将滑动窗口技术和DPC算法相结合，实现混合属性数据流聚类；第四，采用DPC改进算法对KDDCup99网络入侵检测数据集进行聚类，并与经典数据流聚类算法Clustream算法和Denstream算法进行比

5、较分析，评价DPC改进算法聚类效果。为了检验DPC改进算法的效用，对人口普查数据集和银行营销数据集进行聚类，并设计对照实验验证DPC算法密度改进的有效性。通过KDDCup99数据集的聚类结果显示，DPC改进算法在任意形状的数据集中能检测正确的聚类，并保持较高的聚类精度，与Clustream算法和Denstream算法相比，DPC改进算法对聚类精度有明显提高和更好的稳定性。在效用检验中，DPC改进算法在人口普查数据集和银行营销数据集聚类中均保持较高的聚类精度，同时对照实验结果也验证了DPC算法密度改进的有效性。本

6、文的主要贡献：第一，针对DPC算法的不足分别从三个方面提出改进方法，使DPC算法适用于高维混合属性数据流聚类；第二，提出针对高维混合属性数据流可行、有效的聚类方法，适用于网络安全、社会科学和经济等领域数据的聚类研究；第三，通过编写matlab程序实现DPC改进算法的实证分析，拓展了该方法的应用，也实现了matlab软件在混合属性数据流聚类相关问题中的应用。关键词：DPC算法；数据流聚类；混合属性数据；K最近邻；信息熵IAbstractClusteranalysisisanimportantresearchtop

7、icindatamining.Withthearrivaloftheeraofbigdata,datastreamhasbeenappliedinmanyfields.Datastreamclusteringhasalsobecomeafar-reachingandchallengingtechnology.Comparedwithtraditionalstaticdata,datastreamishigh-speed,dynamic,andchangeable.Thesecharacteristicsofda

8、tastreamhavebroughtdifficultiestotheclusteringofdatastream.Inaddition,thecharacteristicsofhigh-dimensionality,mixedattributes,andmassivenessofthedatastreamimposehigherrequirementsontheclustering