基于决策树的分类算法研究和应用

《基于决策树的分类算法研究和应用》由会员上传分享，免费在线阅读，更多相关内容在学术论文-天天文库。

1、山东师范大学硕士学位论文基于决策树的分类算法研究和应用姓名：迟庆云申请学位级别：硕士专业：管理科学与工程指导教师：赵庆祯20051010虫末耀范大学磺士学位论文皇要图表目录黼3-l决策树寐意图⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯16黪3-2连续分支熹豹求篷⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯25图3-3离散分支点的求值⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯26图3—4随着树的复杂度的增加，在训练集以及测试集内的错误率⋯⋯⋯⋯29表4-5按照二进制表示分类法⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯42衮4-6雳二避秘方法瓣离散属毽分类⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯

2、43圈5一l出训练集生成豹决策树⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯47表5-2由训练集生成cc表⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯47独创声明本人声明所呈交的学位论文是本人在导师指导下进行的研究工作及取得的研究成果。据我所知，除了文中特别加以标注和致谢的地方外，论文中不包含其他人已经发表或撰写过的研究成果，也不包含为获得——(注：如没有其他需要特别声明的，本栏可空)或其他教育机构的学位或证书使用过的材料。与我一同工作的同志对本研究所做的任何贡献均己在论文中作了明确的说明并表示谢意。学位论文作者签名丞去乏导师签字：鑫￡蠢习灸学位论文版权使用授权书本学位论文作者完全了解堂撞有关保

3、留、使用学位论文的规定，有权保留并向国家有关部门或机构送交论文的复印件和磁盘，允许论文被查阅和借阅。本人授权—堂主t可以将学位论文的全部或部分内容编入有关数据库进行检索，可以采用影印、缩印或扫描等复制手段保存、汇编学位论文。(保密的学位论文在解密后适用本授权书)学位论文作者签名墨丢去导师签字：垄蔓友幸疋签字目期：200(年l调1日签字日期：200年月日山东师范大学硕士学位论文基于决策树的分类算法研究与应用摘要面对信息时代海量数据的出现，如何有效利用海量的原始数据分析现状和预测未来，已经成为人类面临的一大挑战。由此，数据挖掘技术应运而生并得到迅猛发展。数据挖掘是指从数据库中抽取隐含的

4、、具有潜在使用价值信息的过程，是一种新型的数据分析技术，被广泛应用于银行金融、保险、政府、教育、运输等企事业单位及国防科研上。数据挖掘应用的普遍性及带来的巨大经济和社会效益，吸引了许多专家和研究机构从事该领域的研究。数据分类是数据挖掘中一个重要的内容。分类存在很多方法，其中决策树归纳以其易于提取显式规则、计算量相对较小、可以显示重要的决策属性和较高的分类准确率等优点而得到广泛的应用。据统计，目前决策树算法是利用最广泛的数据挖掘算法之一，利用率高达19％。应用领域已由医疗到博弈论和商务等领域，是一些商业规则归纳系统的基础。寻找新的构造决策树和简化决策树的方法一直是决策树技术研究的一个

5、热点。SLIO算法和SPRINT算法很好的解决了磁盘驻留数据太大以至于无法被内存容纳带来的问题。它没有采纳利用抽样或划分数据集来获得可容纳于内存的小树据的处理方法，而是采用了一种新的数据结构，直接在整个数据集上建立一棵决策树。但SPRINT、SLIQ等算法处理的训练集的大小都是固定的，来自稳定的环境，人为干预较少，忽视了数据的变化趋势。在现实生活中，数据集并不是稳定的，而是连续到来的。将现有的算法改进使其能够适应不断生长的训练集，生成一棵与旧树相关的树是十分有现实意义的。本文的研究工作源于上述的背景，目的是对数据库知识发现进行深入的研究，探索数据挖掘中决策树的更新问题，以更好的应用

6、于实际工作中，主要进行了以下的研究工作：l、指出构造好的决策树的关键在于如何选择好的逻辑判断或属山东师范大学硕士学位论文性，比较了信息增益、基尼指数属性选择度量方法的优缺点，探讨了将离散属性值组合计算基尼指数来构造二叉树的方法。2、研究了决策树的几种生成算法和剪枝算法，比较了它们的优缺点，特别是针对可伸缩的SPRINT算法做了全面的分析。深入探讨了建树算法与剪枝算法的集成问题，即Public算法以及一个可应用于其它算法的RMNFOREST框架结构，并应用于后面的实例中。3、针对现实生活中，数据集高速到来的情况，由SPRINT算法、Public算法的思想以及RAINFOREST框架结

7、构一CC表，提出了一种新的数据集动态变化的决策树生成与剪枝算法，使其能够适应数据集的连续性，从而提高算法的实时有效性。4、将决策树数据挖掘方法应用到汽车销售中。从调查问卷中挖掘出最近一年内有购车意愿的客户的特征，为营销策略的制定、广告的投放提供依据，提高汽车销售公司的市场竞争力，从而提高汽车的销售量。关键词：知识发现，数据挖掘，决策树，剪枝分类号：TP311．132山东师范大学硕士学位论文ClassificationAlgorithmStudyandApplicati