第六讲决策树

《第六讲决策树》由会员上传分享，免费在线阅读，更多相关内容在工程资料-天天文库。

1、简单的决策树模型人工智能发展到一定阶段的时候学者们就发现，这个智能不能靠我们人类完全告诉机器，因为这个世界上的知识和信息都是无止尽的，所以，我们需要让机器学会如何自己学习，于是就产生了机器学习这个研究方向，专门来研究如果让计算机通过数据来学习到知识。今天我们就来介绍一种非常经典的机器学习算法叫做决策树算法。我们回想一下我们自己的学习过程，我们学一些知识的时候会有很多例题,但我们考试的时候，老师经常会出一些我们没有见过的题型。我们如果好好学习了这些例题的话，就能解出那些没有见过的题目。这是因为我们人类有归纳的能力。

2、中国人把这个能力叫做融会贯通，举一反三等等。所以，我们也希望机器具有这种能力，所以决策树算法就是一种典型的归纳学习。决策树(Decisiontree)是一种典型的分类方法，首先对数据进行处理，利用归纳算法生成可读的规则和决策树，然后使用决策树对新数据进行分析。本质上决策树是通过一系列规则对数据进行分类的过程。我们来看一下决策树算法的定义，首先，我们说决策树算法是一种分类方法。这是我们这门课第一次提到分类这个概念，分类问题，这是人工智能里面一个非常重要的概念，我们之后会有一节课专门来讲分类问题的相关知识。在这里就不

3、详细讲了我们这里强调的是，决策树就是通过归纳，学习到的一种分类的能力,我们来看一个决策树的例子。简单的决策树的模型可以看出这副图很像一棵倒着的树，这个棵树用来分类所有有着X、Y两种属性的数据，可以把这些数据分为三类。我们可以看到类1，类2,类3.怎么分类的呢，我们从最上面开始，首先判断这个数据的X属性是否等于1,就是最上面那个圆圈，如果不是的话，就直接判断为类1,是的话呢，我们再判断这个数据的Y的大小，我们看到第二个圆圈，它往下有三个分支，说明它不是一个判断是否的问题，而是看Y的数值的范围，所以，如果Y

4、为类1,A

5、们对于每天关于上不上课的信息主要考虑两个属性，一个是是否点名，一个是能否及时赶到，然后分类的结果，就有三种，一种是不去，一种是跑着去，一种是走着去。南开大一个老师啊，为了惩罚这些学生，在考卷前面加了这么一道选择题。第二学期認篇⑽）-、木求切为大家讲授了格染，夕砭戎事诉讼法*税的洛栉匙（.本进浮对不浔分*答饴或不托扣41分）'J?W•■-我们还是回到这个决策树算法上来。我们下面来讲讲怎么样才能得到这样一颗决策树呢？就跟我们学习时，需要例题一样，我们需要给电脑一组数据去训练它，大家应该发现了，这个决策树算法对训练数据

6、有一定的要求，这些数据都应该有一些共同的属性并且每一个数据都有一个明确的分类编号年龄收入学生信用等级类别：购买电脑1<=30商否一般不会购买2<=30高否良好不会购买331...40髙-般会购买4>40中等一般会购买5>40低是一般会购买6>40低是良好不会购买731…40低是良好会购买8<=30中等否一般不会购买9<=30低是一般会购买—■1■•—>40中等是一般会购实■11<=30中W是良好会购实1231...401等否良好会购买1331…40髙是一般会购笑14>40中等人良好木会购买例如我们有这样一组数据，

7、可以看到这组数据都有这些属性，年龄，收入，学生，信用等级，且都有一个分类，会买电脑，和不会买电脑。这些属性里面有些是数值的，比如年龄，有些是有几种等级，比如收入和信用等级，还有些是判断注质的，比如是否是学生。类别这里是两种，其实可以有很多种不同的分类。在这样一组数据的基础上，我们就能生成一棵决策树。生成决策树有什么好处呢？假如你问老师：〃老师你什么时候心情比较好？〃我说："我在以下1000种情况下，心情比较好。第一种，天气晴朗，我头脑清晰，在咖啡厅暍咖啡......第二种......哎哎，我还没说完，你别走...

8、..."估计没听几条你就走人了，如果老师这样回答：〃我只要身体健康，且睡眠充足的时候，就心情比较好。“明显后者比较有智能对不对。我们生成决策树，一方面对数据进行了整理和归纳，也就是说在数据中学习到了有用的规则，另一方面，我们能够通过决策树来对没有见过的数据进行分类。比如这个买电脑这组数据，年龄这个属性有三种情况，收入也有三种情况，学生两种，信用两种，总共啊，有3*3*2*