探究决策树分类器算法的研究

《探究决策树分类器算法的研究》由会员上传分享，免费在线阅读，更多相关内容在学术论文-天天文库。

1、北京交通大学硕士学位论文决策树分类器算法的研究姓名：黄泽宇申请学位级别：硕士专业：计算机应用技术指导教师：王志海20060301摘要在数据挖掘和机器学习领域中分类是一项非常重要的基本任务。它能对大量有关数据进行学习和分析，并建立相应问题领域中的分类模型。该技术在科学、通讯、金融等领域均有着广泛的应用。决策树分类方法作为分类知识发现的一种非常重要方法，它具有良好的可解释性、分类速度快、分类性能优越，因此，研究决策树分类器算法逐渐成为一个活跃的研究领域。最为典型的决策树分类器学习算法是D3算法，它采用自顶向下分而治之的策略，利用信息增益的标

2、准选择分裂属性，能保证构造出一棵简单的树。但是它只能处理枚举型属性，不能解决过适应问题。C4．5算法很好地扩展了D3算法，它将分类领域从枚举型属性扩展到连续值属性，同时采用剪枝策略很好地解决了过适应问题。目前它已成为现在公认的性能较优的决策树分类器算法。懒惰式决策树也是一种决策树分类器，它采取懒惰式学习策略，学习过程被推迟到分类一个给定测试实例时才进行。它从概念上为每一个测试实例建立一棵最优决策树。在小的数据集合上，它的分类精确度非常高。但是在某些大的数据集合上，特别是属性数目非常多的数据集合上，它的分类速度慢，内存消耗大。本文在深入分

3、析D3算法、C4．5算法、懒惰式决策树分类器算法、朴素贝叶斯分类器算法等多种分类器算法的基础上，进一步提出了急切式和懒惰式学习策略相结合的决策树分类模型、竞争选择分裂属性的决策树分类模型、以及基于距离和权重的懒惰式分类模型等3种新的决策树分类器模型。本文将新的分类器算法与D3算法、C4．5算法、朴素贝叶斯分类器算法进行了比较，通过大量实验验证了这些新算法的有效性和实用性，它们可以应用于求解众多实际的数据挖掘问题。关键词：数据挖掘；分类；决策树分类器：朴素贝叶斯；懒惰式决策树；北京交通大学硕士学位论文AbstractClassificat

4、ionisoneofveryimportantbasictasksinmefieldofdatamiIlingandmachjneleaming．ItcanbeusedtoaIlalyzea11dstudyavastnumberofrelateddataandestablishcl嬲si聊ngmodeIsinmanyareasofrelatedproblems．Theclassi矗cationtechlliqucshaveextensive印plicationusageinscientificresearch，commuIlicatio

5、n，finallceandothernelds．Adecision．ⅡeeclassmerisaveryimportaIltmodelintlleprocessofhowledgediscoVeⅨGoodimerpretabili劬f船tclassificationspeeda11deXcellcntclassificationperfbrmanceofdecision-仃eemakeit晷aduallybecomemeresearchfocusinthefieldsofdatamillingaIldmachineleamin吕Them

6、ostclassicaldecision—n℃ele蛐[1ingsystemisD3，whichuse也edivide-aIld-conquer印pmachtodecision一仃它einductionfromroottoleaves，a11dchoosemespli牡ingat仃曲utesbytheg咖ratio．ThismemOdcanensurctocons眦tasimple仃ee．Butm3caIlnoth觚dlen啪ericattributes，onlynominala船讪utes．nisusu砒lyover虹ttedtome

7、仃ainingdatabases．C4．5algorimmistlleextensionofD3．Itextendsmeclassificationability0fID3疗omnominalattributestonumericattributes．Itwellres01vesthepmblemaboutov础仕ingbypnlningdecision·trees．Nowithasahadybeenhownasabe戗erdecision-仃ceclassi丘er．Lazydecision·打eesalsoco璐虮lctdecisio

8、n-trees，adoptl配yalgorithm，a11ddelaymele锄ingproceedinguntilatestinstaIlceis百Ven．Itconc印tllaIlycons缸uctsⅡ