决策树(详细易懂很多例子)

《决策树(详细易懂很多例子)》由会员上传分享，免费在线阅读，更多相关内容在教育资源-天天文库。

1、决策树DecisionTree决策树算法是一种归纳分类算法,它通过对训练集的学习,挖掘出有用的规则,用于对新集进行预测。有监督的学习。非参数学习算法。对每个输入使用由该区域的训练数据计算得到的对应的局部模型。决策树归纳的基本算法是贪心算法，自顶向下递归方式构造决策树。贪心算法：在每一步选择中都采取在当前状态下最好/优的选择。在其生成过程中，分割方法即属性选择度量是关键。通过属性选择度量，选择出最好的将样本分类的属性。简介决策树的结构决策树算法以树状结构表示数据分类的结果。每个决策点实现一个具有离散输出的测试函数，记为分支。根节点非叶子节点（决

2、策点）叶子节点分支决策树的结构4根部节点(rootnode)非叶子节点(non-leafnode)(代表测试的条件，对数据属性的测试)分支(branches)(代表测试的结果)叶节点(leafnode)(代表分类后所获得的分类标记)2021/7/18单变量树每个内部节点中的测试只使用一个输入维。如果使用的输入维是离散的，取n个可能的值之一，则该节点检测的值，并取相应的分支，实现一个n路划分。决策点具有离散分支，而数值输入应当离散化。如果是数值的（有序的），则测试函数是比较：其中是适当选择阈值。该决策节点将输入空间一份为二：和，称为一个二元划分

3、。决策树根据所选取的属性是数值型还是离散型，每次将数据划分成两个或n个子集。然后使用对应的子集递归地进行划分，直到不需要划分，此时，创建一个树叶节点标记它。决策树分类训练阶段从给定的训练数据集DB，构造出一棵决策树class=DecisionTree(DB)分类阶段从根开始，按照决策树的分类属性逐层往下划分，直到叶节点，获得概念（决策、分类）结果。y=DecisionTree(x)ExampleofaDecisionTreeAnotherExampleofDecisionTreeApplyModeltoTestDataRefundMarStT

4、axIncYESNONONOYesNoMarriedSingle,Divorced<80K>80KTestDataStartfromtherootoftree.ApplyModeltoTestDataRefundMarStTaxIncYESNONONOYesNoMarriedSingle,Divorced<80K>80KTestDataApplyModeltoTestDataRefundMarStTaxIncYESNONONOYesNoMarriedSingle,Divorced<80K>80KTestDataApplyModeltoTest

5、DataRefundMarStTaxIncYESNONONOYesNoMarriedSingle,Divorced<80K>80KTestDataApplyModeltoTestDataRefundMarStTaxIncYESNONONOYesNoMarriedSingle,Divorced<80K>80KTestDataApplyModeltoTestDataRefundMarStTaxIncYESNONONOYesNoMarriedSingle,Divorced<80K>80KTestDataAssignCheatto“No”决策树原理基

6、本算法（贪心算法）自上而下分而治之的方法开始时，所有的数据都在根节点属性都是离散值字段(如果是连续的，将其离散化)所有记录用所选属性递归的进行分割属性的选择是基于一个启发式规则或者一个统计的度量(如,informationgain)停止分割的条件一个节点上的数据都是属于同一个类别没有属性可以再用于对数据进行分割算法：Generate_decision_tree由给定的训练数据产生一棵决策树输入：训练数据集samples，用离散值属性表示；候选属性的集合attribute_list。输出：一棵决策树方法：（1）创建结点N；（2）ifsample

7、s都在同一个类Cthen（3）返回N作为叶结点，用类C标记；（4）ifattribute_list为空then（5）返回N作为叶结点，标记samples中最普通的类；//多数表决（6）选择attribute_list中的最优分类属性test_attribute；//用信息增益作为属性选择度量（7）标记结点N为test_attribute；（8）foreachtest_attribute中的已知值ai//划分samples（9）由结点N生长出一个条件为test_attribute＝ai的分枝；（10）设si为samples中test_attri

8、bute＝ai的样本集合；//一个划分（11）ifsi为空then（12）加上一个叶结点，标记为标记samples中最普通的类；//多数表决（13）else加上一个