数据挖掘中分类算法综述_罗可

《数据挖掘中分类算法综述_罗可》由会员上传分享，免费在线阅读，更多相关内容在学术论文-天天文库。

1、第31卷　第1期计　算　机　工　程2005年1月Vol.31№1ComputerEngineeringJanuary2005·发展趋势/热点技术·文章编号：1000—3428(2005)01—0003—03文献标识码：A中图分类号：TP301.6数据挖掘中分类算法综述罗可，林睦纲，郗东妹（长沙理工大学计算机与通信工程学院，长沙）410076摘要：分类是数据挖掘、机器学习和模式识别中一个重要的研究领域。通过对当前数据挖掘中具有代表性的优秀分类算法进行分析和比较，总结出了各种算法的特性，为使用者选择算法或研究者改进算法提供了依据。此外，

2、提出了评价分类器的5条标准，以便于研究者提出新的有效算法。关键词：数据挖掘；分类；算法；数据集ReviewofClassificationAlgorithmsinDataMiningLUOKe,LINMugang,XIDongmei(SchoolofComputer&CommunicationEngineering,ChangshaUniversityofScience&Technology,Changsha410076)【Abstract】Classificationisanimportantresearchfieldindata

3、mining,patternrecognitionandmachinelearning.Thispapersummarizesthemainfeaturesofeveryalgorithmbyanalyzingandcomparingavarietyoftypicalclassifierstoprovideabasisforselectingorimprovingthealgorithmsindatamining.Besides,itputsforwardfivestandardsaccordingtoevaluatingclass

4、ifierssothatresearchersdevelopneweffectivealgorithms.【Keywords】Datamining；Classification；；AlgorithmDataset1概述决策树是以实例为基础的归纳学习算法。它从一组无次分类是一种重要的数据挖掘技术。分类的目的是根据数序、无规则的元组中推理出决策树表示形式的分类规则。它据集的特点构造一个分类函数或分类模型（也常常称作分类采用自顶向下的递归方式，在决策树的内部结点进行属性值器），该模型能把未知类别的样本映射到给定类别中的某一的比较，并根据不

5、同的属性值从该结点向下分支，叶结点是个。分类和回归都可以用于预测。和回归方法不同的是，分要学习划分的类。从根到叶结点的一条路径就对应着一条合类的输出是离散的类别值，而回归的输出是连续或有序值。取规则，整个决策树就对应着一组析取表达式规则。年1986本文只讨论分类。Quinlan提出了著名的ID3算法。在ID3算法的基础上，年1993构造模型的过程一般分为训练和测试两个阶段。在构造Quinlan又提出了C4.5算法。为了适应处理大规模数据集的需[1]模型之前，要求将数据集随机地分为训练数据集和测试数据要，后来又提出了若干改进的算法，其

6、中SLIQ(super-[2]集。在训练阶段，使用训练数据集，通过分析由属性描述的visedlearninginquest)和SPRINT(scalableparallelizable数据库元组来构造模型，假定每个元组属于一个预定义的inductionofdecisiontrees)是比较有代表性的两个算法。类，由一个称作类标号属性的属性来确定。训练数据集中的(1)ID3算法单个元组也称作训练样本，一个具体样本的形式可为：(u1,ID3算法的核心是：在决策树各级结点上选择属性时，u2，⋯，un；cu）；其中i表示属性值，c表示类别。

7、由于提供用信息增益（informationgain）作为属性的选择标准，以使了每个训练样本的类标号，该阶段也称为有指导的学习，通得在每一个非叶结点进行测试时，能获得关于被测试记录最常，模型用分类规则、判定树或数学公式的形式提供。在测大的类别信息。其具体方法是：检测所有的属性，选择信息试阶段，使用测试数据集来评估模型的分类准确率，如果认增益最大的属性产生决策树结点，由该属性的不同取值建立为模型的准确率可以接受，就可以用该模型对其它数据元组分支，再对各分支的子集递归调用该方法建立决策树结点的进行分类。一般来说，测试阶段的代价远远低于训练

8、阶段。分支，直到所有子集仅包含同一类别的数据为止。最后得到为了提高分类的准确性、有效性和可伸缩性，在进行分一棵决策树，它可以用来对新的样本进行分类。类之前，通常要对数据进行预处理，包括某属性的信息增益按下列方法计算。通过计算每个属性(