分类基本概念决策树与模型评估

《分类基本概念决策树与模型评估》由会员上传分享，免费在线阅读，更多相关内容在教育资源-天天文库。

1、数据挖掘分类：基本概念、决策树与模型评价第4章分类：基本概念、决策树与模型评价分类的是利用一个分类函数（分类模型、分类器），该模型能把数据库中的数据影射到给定类别中的一个。分类训练集：数据库中为建立模型而被分析的数据元组形成训练集。训练集中的单个元组称为训练样本,每个训练样本有一个类别标记。一个具体样本的形式可为:(v1,v2,...,vn;c);其中vi表示属性值,c表示类别。测试集：用于评估分类模型的准确率数据分类——一个两步过程(1)第一步，建立一个模型，描述预定数据类集和概念集假定每个元组属于一个预定义的类，由一个类标号属性确定学习模型可以用分类

2、规则、决策树或数学公式的形式提供数据分类——一个两步过程(2)第二步，使用模型，对将来的或未知的对象进行分类首先评估模型的预测准确率对每个测试样本，将已知的类标号和该样本的学习模型类预测比较模型在给定测试集上的准确率是正确被模型分类的测试样本的百分比测试集要独立于训练样本集，否则会出现“过分适应数据”的情况如果准确性能被接受，则分类规则就可用来对新数据进行分类有监督的学习VS.无监督的学习有监督的学习（用于分类）模型的学习在被告知每个训练样本属于哪个类的“监督”下进行新数据使用训练数据集中得到的规则进行分类无监督的学习（用于聚类）每个训练样本的类编号是未知

3、的，要学习的类集合或数量也可能是事先未知的通过一系列的度量、观察来建立数据中的类编号或进行聚类分类模型的构造方法1.机器学习方法：决策树法规则归纳2.统计方法：知识表示是判别函数和原型事例贝叶斯法非参数法(近邻学习或基于事例的学习)3.神经网络方法：BP算法,模型表示是前向反馈神经网络模型4.粗糙集(roughset)知识表示是产生式规则一个决策树的例子categoricalcategoricalcontinuousclassRefundMarStTaxIncYESNONONOYesNoMarriedSingle,Divorced<80K>80KSplit

4、tingAttributes训练数据模型:决策树决策树的另一个例子categoricalcategoricalcontinuousclassMarStRefundTaxIncYESNONONOYesNoMarriedSingle,Divorced<80K>80K用决策树归纳分类什么是决策树？类似于流程图的树结构每个内部节点表示在一个属性上的测试每个分枝代表一个测试输出每个树叶节点代表类或类分布决策树的生成由两个阶段组成决策树构建开始时，所有的训练样本都在根节点递归的通过选定的属性，来划分样本（必须是离散值）树剪枝许多分枝反映的是训练数据中的噪声和孤立点，树

5、剪枝试图检测和剪去这种分枝决策树的使用：对未知样本进行分类通过将样本的属性值与决策树相比较为了对未知数据对象进行分类识别，可以根据决策树的结构对数据集中的属性进行测试，从决策树的根节点到叶节点的一条路径就形成了相应对象的类别测试。决策树可以很容易转换为分类规则决策树分类任务DecisionTree一个决策树的例子categoricalcategoricalcontinuousclassRefundMarStTaxIncYESNONONOYesNoMarriedSingle,Divorced<80K>80KSplittingAttributes训练数据模型:

6、决策树应用决策树进行分类RefundMarStTaxIncYESNONONOYesNoMarriedSingle,Divorced<80K>80K测试数据Startfromtherootoftree.应用决策树进行分类RefundMarStTaxIncYESNONONOYesNoMarriedSingle,Divorced<80K>80K测试数据应用决策树进行分类RefundMarStTaxIncYESNONONOYesNoMarriedSingle,Divorced<80K>80K测试数据应用决策树进行分类RefundMarStTaxIncYESNONO

7、NOYesNoMarriedSingle,Divorced<80K>80K测试数据应用决策树进行分类RefundMarStTaxIncYESNONONOYesNoMarriedSingle,Divorced<80K>80K测试数据应用决策树进行分类RefundMarStTaxIncYESNONONOYesNoMarriedSingle,Divorced<80K>80K测试数据AssignCheatto“No”决策树分类DecisionTree决策树有许多决策树算法:Hunt算法信息增益——Informationgain（ID3）增益比率——Gainrati

8、on（C4.5）基尼指数——Giniindex(SLIQ，SPRI