决策树id3算法改进地研究

《决策树id3算法改进地研究》由会员上传分享，免费在线阅读，更多相关内容在教育资源-天天文库。

1、.........致谢两年半的硕士研究生生活即将走完，将要离开母校，我非常感谢所有关心和支持我的人！经过两年半的学习和锻炼，不仅我的学术水平得到了提高，我也养成了独立思考的习惯，和独立的人格。我自身综合素质的提高离不开我的导师柴瑞敏副教授的悉心关怀和指导。柴老师挚诚的待人之道，严谨的治学态度，独到的科学见解都对我影响颇深。本文从选题到创作的每一个细节都离不开柴老师的辛勤帮助。在这里向她表达我真诚的谢意！非常感谢院里各位领导、老师为我能够顺利毕业所付出的辛苦劳动。在这里要特别感谢关昕和张永库两位副教授一直以来对我的学习、工作方面给予的关心和支持。我也要感谢在我

2、的求学路上一直陪伴我，鼓励我的家人，是他们给了我不断锐意进取的信心。感谢我的室友贾珍、李翠翠和赵璐及其他关心我的好朋友，有了你们我的生活才会缤纷多彩！感谢在创作的过程中一直陪伴着我，给予我支持和鼓励的男友姜建伟。最后感谢各位引文的作者，是你们的肩膀让我看得更远，是你们的思想开启了我的智慧之门，有了你们的工作，本文的创作才得以更加顺利的开展！......摘要数据挖掘在众多领域中都发挥着不可替代的作用，一直是各国学者研究的热点。分类是数据挖掘的一种重要的手段。ID3算法是提出最早，最经典的一种决策树分类方法。ID3在选择分类属性时，依赖于信息熵的计算。因此，经过

3、ID3算法分类后，取值较多的属性将会被选为决策树的分类节点。很多时候，这种分类情况是不符合实际的。另外，ID3算法的计算过程含有过多的对数计算，比较复杂，而且不能够处理具有多种类别属性值的数据集。针对ID3的这三种不足，本文对ID3进行了改进，首次提出了一种新的选择分类属性选择方法，基于麦克劳林—优先选取值的ID3算法（ID3basedonMaclaurinandPriority，MPID3）。本文利用换底公式logγ=lnγ/ln2和等价无穷小代换ln(1+x)≈x将2ID3算法中的对数计算进行了简化。由于简化过程会引起误差，本文通过选取合适的常数ζ和简化

4、后的ID3算法计算公式相乘来补偿误差。针对ID3算法的取值偏向问题，本文引入了“分类属性优先选取值”进行了改进。本文对MPID3的性能给出了严格的理论证明。最后，通过实验证明了MPID3比经典的ID3计算方法及现有的两种计算方法在计算时间和分类精确度方面具有优势。另外，针对样本集中某一确定属性值的记录集合为空的情况，本文给出了自己的修改方案。关键词：数据挖掘；分类算法；ID3；MPID3-I-......AbstractWiththedevelopmentofoursociety,DataMiningisplayingmoreandmoreimportant

5、roleinmanyfields.Itisattractingmoreandmorepeople’sattention.ClassificationisanimportantwayforDataMining.TheID3algorithmisthemostclassicalandoldestclassificationmethodbasedonDecisionTree.TheattributionhavingmorevalueswillbeselectedasthenodeofDecisionTreeaccordingtoID3.Becausethechoi

6、cesID3madereliesonthevalueofinformationentropy.However,theresultisnotalwayspeoplewant.ThecalculationprocessofID3includesmanylogarithmoperation.Soitscalculationcomplexityishigh.Toovercometheseshortcomings,weproposedanewclassificationattributionselectionalgorithmcalledMPID3(ID3basedo

7、nMaclaurinandPriority).Inthispaper,logγ=lnγ/ln2and2ln(1+x)≈xareusedtosimplifyID3algorithm.Errorcanbecausedbythissimplification.Weselectanintegerζtomultiplybythenewproposedformulatoavoiderror.Inthispaper,“PriorityofAttributionSelectionforClassification”isproposedtoavoidtheshortcomin

8、gthatID3inclinestoselectth