资源描述：
《最新机器学习课件ppt.ppt》由会员上传分享，免费在线阅读，更多相关内容在教育资源-天天文库。
1、机器学习什么是机器学习是寻找一种对自然/人工主题、现象或活动可预测且/或可执行的机器理解方法2什么是机器学习研究计算机怎样模拟或实现人类（动物）的学习行为，以获取新的知识或技能重新组织已有的知识结构使之不断改善自身的性能是人工智能的核心，是使计算机具有智能的根本途径其应用遍及人工智能的各个领域，它主要使用归纳、综合而不是演绎3决策树学习决策树学习1．什么是决策树决策树(decisiontree)也称判定树，它是由对象的若干属性、属性值和有关决策组成的一棵树。其中的节点为属性（一般为语言变量），分枝为相应的属性值（一般为语言值）。从
2、同一节点出发的各个分枝之间是逻辑“或”关系；根节点为对象的某一个属性；从根节点到每一个叶子节点的所有节点和边，按顺序串连成一条分枝路径，位于同一条分枝路径上的各个“属性-值”对之间是逻辑“与”关系，叶子节点为这个与关系的对应结果，即决策。例如图1就是一棵决策树。其中，A,B,C代表属性，ai,bj,ck代表属性值，dl代表对应的决策。处于同一层的属性（如图中的B,C）可能相同，也可能不相同，所有叶子节点（如图中的dl，l=1,2,…,6）所表示的决策中也可能有相同者。由图1不难看出，一棵决策树上从根节点到每一个叶子节点的分枝路径上
3、的诸“属性-值”对和对应叶子节点的决策，刚好就构成一个产生式规则：诸“属性-值”对的合取构成规则的前提，叶子节点的决策就是规则的结论。例如，图1中从根节点A到叶子节点d2的这一条分枝路径就构成规则：(A=a1)∧(B=b2)=>d2而不同分枝路径所表示的规则之间为析取关系。图1决策树示意图图2飞机起飞的简单决策树例1图3所示是一个描述“兔子”概念的决策树。图3“兔子”概念的决策树2.怎样学习决策树决策树是一种知识表示形式,构造决策树可以由人来完成,但也可以由机器从一些实例中总结、归纳出来,即由机器学习而得。机器学习决策树也就是所说
4、的决策树学习。决策树学习是一种归纳学习。由于一棵决策树就表示了一组产生式规则,因此决策树学习也是一种规则学习。特别地,当规则是某概念的判定规则时,这种决策树学习也就是一种概念学习。决策树学习的基本方法和步骤是:首先,选取一个属性,按这个属性的不同取值对实例集进行分类;并以该属性作为根节点,以这个属性的诸取值作为根节点的分枝,进行画树。然后,考察所得的每一个子类,看其中的实例的结论是否完全相同。如果完全相同,则以这个相同的结论作为相应分枝路径末端的叶子节点;否则,选取一个非父节点的属性,按这个属性的不同取值对该子集进行分类,并以该属
5、性作为节点,以这个属性的诸取值作为节点的分枝,继续进行画树。如此继续,直到所分的子集全都满足:实例结论完全相同,而得到所有的叶子节点为止。这样,一棵决策树就被生成。下面我们进一步举例说明。表1汽车驾驶保险类别划分实例集可以看出,该实例集中共有12个实例,实例中的性别、年龄段和婚状为3个属性,保险类别就是相应的决策项。为表述方便起见,我们将这个实例集简记为S={(1,C),(2,C),(3,C),(4,B),(5,A),(6,A),(7,C),(8,B),(9,A),(10,A),(11,B),(12,B)}其中每个元组表示一个实例
6、,前面的数字为实例序号,后面的字母为实例的决策项保险类别(下同)。另外,为了简洁,在下面的决策树中我们用“小”、“中”、“大”分别代表“＜21”、“≥21且≤25”、“＞25”这三个年龄段。显然,S中各实例的保险类别取值不完全一样,所以需要将S分类。对于S,我们按属性“性别”的不同取值将其分类。由表1可见,这时S应被分类为两个子集:S1={(3,C),(4,B),(7,C),(8,B),(11,B),(12,B)}S2={(1,C),(2,C),(5,A),(6,A),(9,A),(10,A)}于是,我们得到以性别作为根节点的部分
7、决策树(见图4(a))。考察S1和S2，可以看出，在这两个子集中，各实例的保险类别也不完全相同。这就是说，还需要对S1和S2进行分类。对于子集S1，我们按“年龄段”将其分类；同样，对于子集S2，也按“年龄段”对其进行分类（注意：对于子集S2，也可按属性“婚状”分类）。分别得到子集S11,S12,S13和S21,S22,S23。于是，我们进一步得到含有两层节点的部分决策树（如图4(b)所示）。注意到，这时除了S12和S13外，其余子集中各实例的保险类别已完全相同。所以，不需再对其进行分类，而每一个子集中那个相同的保险类别值就可作为相
8、应分枝的叶子节点。添上这些叶子节点，我们又进一步得到发展了的部分决策树（如图4(c)所示）。接着对S12和S13，按属性“婚状”进行分类（也只能按“婚状”进行分类）。由于所得子集S121,S121和S131,S132中再都只含有一个实例，因此无需对
