资源描述：
《数据挖掘(6)：决策树分类算法》由会员上传分享，免费在线阅读，更多相关内容在工程资料-天天文库。
1、数据挖掘（6）:决策树分类算法2015/08/29•IT技术•数据挖掘分享到：5GopherChina2015上海大会R语言基础去哪儿前端沙龙分享第三期Qnext前端交互沙龙原文出处：fengfenggirl（@也爱数据挖掘）从这篇开始，我将介绍分类问题，主要介绍决策树算法、朴素贝叶斯、支持向量机、BP神经网络、懒惰学习算法、随机森林与自适应增强算法、分类模型选择和结果评价。总共7篇，欢迎关注和交流。这篇先介绍分类问题的一些基本知识，然后主要讲述决策树算法的原理、实现，最后利用决策树算法做一个泰坦尼克号船员生存预测应用。一.分类基本介绍物以类聚,
2、人以群分,分类问题只古以来就出现我们的生活中。分类是数据挖掘中一个重要的分支，在各方面都有着广泛的应用，如医学疾病判别、垃圾邮件过滤、垃圾短信拦截、客户分析等等。分类问题可以分为两类:•归类：归类是指对离散数据的分类，比如对根据一个人的笔迹判别这个是男还是女，这里的类别只有两个，类别是离散的集合空间｛男,女｝的。•预测：预测是指对连续数据的分类，比如预测明天8点天气的湿度情况，天气的湿度在随时变化，8点时的天气是一个具体值，它不属于某个有限集合空间。预测也叫回归分析,在金融领域有着广泛应用。虽然对离散数据和连续数据的处理方式有所不同，但其实他们之
3、间相互转化，比如我们可以根据比较的某个特征值判断,如果值大于0.5就认定为男性,小于等于0.5就认为是女性，这样就转化为连续处理方式；将天气湿度值分段处理也就转化为离散数据。数据分类分两个步骤：1.构造模型，利用训练数据集训练分类器；2.利用建好的分类器模型对测试数据进行分类。好的分类器具有很好的泛化能力，即它不仅在训练数据集上能达到很高的正确率,而且能在未见过得测试数据集也能达到较高的正确率。如果一个分类器只是在训练数据上表现优秀，但在测试数据上表现稀烂,这个分类器就已经过拟合了,它只是把训练数据记下来了，并没有抓到整个数据空间的特征。二决策树
4、分类决策树算法借助于树的分支结构实现分类。下图是一个决策树的示例，树的内部结点表示对某个属性的判断，该结点的分支是对应的判断结果；叶子结点代表一个类标。年龄？上表是一个预测一个人是否会购买购买电脑的决策树,利用这棵树，我们可以对新记录进行分类，从根节点（年龄）开始,如果某个人的年龄为中年，我们就直接判断这个人会买电脑，如果是青少年,则需要进一步判断是否是学生；如果是老年则需要进一步判断其信用等级，直到叶子结点可以判定记录的类别。决策树算法有一个好处,那就是它可以产生人能直接理解的规则，这是贝叶斯、神经网络等算法没有的特性;决策树的准确率也比较高，
5、而且不需要了解背景知识就可以进行分类，是一个非常有效的算法。决策树算法有很多变种，包括ID3、C4.5、C5.0、CART等，但其基础都是类似的。卜面来看看决策树算法的基本思想算法：GenerateDecisionTree(D/attributeList)tgJgij
6、练数据记录D生成一棵决策树.•输入：o数据记录D,包含类标的训练数据集；o属性列表attributeList，候选属性集，用于在内部结点中作判断的属性O属性选择方法AttributeSelectionMethodO，选择最佳分类属性的方法.•输出：一棵决策树.•过程：1.构造一个节
7、点N;2.如果数据记录D中的所有记录的类标都相同(记为C类)：则将节点N作为叶子节点标记为C,并返回结点N；3.如果属性列表为空则将节点N作为叶子结点标记为D中类标最多的类,并返回结点N;4.调用AttributeSelectionMethod(D,attributeList)选择最佳的分裂准则splitCriterion;5.将节点N标记为最佳分裂准则splitcriterion;6.如果分裂属性取值是离散的，并且允许决策树进行多叉分裂：从属性列表中减去分裂属性zattributeLsit-=splitAttribute;7.对分裂属性的每一个
8、取值j：记D中满足j的记录集合为Dj;如果Dj为空:贝噺建一个叶子结点F,标记为D中类标最多的类，并且把结点F挂在N下；8.否则：递归调用GenerateDecisionTree(DjzattributeList)得到子树结点Nj,将Nj挂在N下；9.返回结点N;算法的1、2、3步骤都很显然，第4步的最佳属性选择函数会在后面专门介绍,现在只有知道它能找到一个准则，使得根据判断结点得至啲子树的类别尽可能的纯，这里的纯就是只含有一个类标；第5步根据分裂准则设置结点N的测试表达式。在第6步中,对应构建多叉决策树时，离散的属性在结点N及其子树中只用一次，
9、用过之后就从可用属性列表中删掉。比如前面的图中，利用属性选择函数，确定的最佳分裂属性是年龄,年龄有三个取值，每一个取值对应一个分支”后面
