资源描述：
《数据挖掘概念与技术CHAPTER6-分类基本概念ppt课件.ppt》由会员上传分享，免费在线阅读，更多相关内容在教育资源-天天文库。
1、1Chapter6.分类:基本概念分类:基本概念决策树归纳贝叶斯分类基于规则的分类模型评价与选择提高分类准确率的技术:集成方法EnsembleMethodsSummary2有监督vs.无监督学习有监督学习(分类)监督：训练数据（观察，测量等）都带有标签,指示观察的类别根据训练集分类新数据无监督学习(聚类)训练集的类别（标签）未知给定一个观察，测量等的集合，目标是建立数据中存在的数据的类或簇3分类预测分类的类标签(离散or名义)基于训练数据和类标签构造一个模型，并分类新数据数值预测建连续值函数/模型,预测未知/缺失值典型应用信用卡/贷款审
2、批:医疗诊断:肿瘤是癌或良性？欺诈检测:交易欺诈?网页分类：这是哪一类？预测问题：分类vs.数值预测4分类:一个两步的过程模型构建:描述一组预先定义的类假定每个元组/样本属于一个类,由类标签属性设定用于构建模型的元组集合称为训练集trainingset模型可以表示为分类规则,决策树,数学公式模型使用:分类将来/未知对象估计模型的准确率测试集：独立于训练集的样本(避免过分拟合overfitting)比较测试样本的已知标签/由模型预测（得到）标签准确率：测试样本集中模型正确预测/分类的样本的比率如果准确率合时,使用模型来分类标签为未知的样本
3、5Process(1):模型构建TrainingDataClassificationAlgorithmsIFrank=‘professor’ORyears>6THENtenured=‘yes’Classifier(Model)6Process(2):UsingtheModelinPredictionClassifierTestingDataUnseenData(Jeff,Professor,4)Tenured?Issues:EvaluatingClassificationMethodsAccuracyclassifieraccuracy
4、:predictingclasslabelpredictoraccuracy:guessingvalueofpredictedattributesSpeedtimetoconstructthemodel(trainingtime)timetousethemodel(classification/predictiontime)Robustness:handlingnoiseandmissingvaluesScalability:efficiencyindisk-residentdatabasesInterpretabilityunders
5、tandingandinsightprovidedbythemodelOthermeasures,e.g.,goodnessofrules,suchasdecisiontreesizeorcompactnessofclassificationrules8Chapter6.分类:决策树归纳分类:基本概念决策树归纳贝叶斯分类基于规则的分类模型评价与选择提高分类准确率的技术:集成方法EnsembleMethodsSummary9决策树归纳:例子age?overcaststudent?creditrating?<=30>40noyesyesye
6、s31..40nofairexcellentyesno训练集:购买计算机结果:10决策树归纳的算法基本算法(贪心算法)树构建：自顶向下递归地分治方式开始，所有的训练样本位于根节点属性是分类属性(若是连续值,事先离散化)基于选择的属性，样本被递归地分割基于启发式/统计测来选择测试属性(例如信息增益)终止划分的条件一个给定节点的所有样本属于一个类别没有属性剩下，用于进一步划分–运用多数投票来标记此节点没有样本剩下属性选择度量属性选择度量分裂规则，决定给定节点上的元组如何分裂具有最好度量得分的属性选定位分裂属性三种度量信息增益、增益率、Gin
7、i指标数学符号D为元组的训练集，元组属于m个不同的类Ci(i=1,,,m)Ci,D是D中的Ci类的元组集合
8、Ci,D
9、和
10、D
11、分别表示各自的元组个数13选择具有最高信息增益的属性令pi为D中的任一元组属于类Ci概率,估计为
12、Ci,D
13、/
14、D
15、分类D中元组需要的期望信息(entropy):(利用A分裂D为v个部分后)分类D需要的信息为:以属性A分枝得到的信息增益属性选择度量:信息增益(ID3/C4.5)14ClassP:买电脑=“yes”ClassN:买电脑=“no”属性选择:信息增益15计算信息增益-连续值属性令A为连续属性必须为A确定
16、一个最佳分裂点bestsplitpoint上升序排序A典型地,每对相邻值的中点是一个可能的分裂点(ai+ai+1)/2isthemidpointbetweenthevaluesofaiandai+1具有最小
