监督学算法基础知识整理.doc

《监督学算法基础知识整理.doc》由会员上传分享，免费在线阅读，更多相关内容在工程资料-天天文库。

1、第三章监督学习算法监督学习乂称为分类(Classification)或者归纳学习(IncluctiveLearning)。儿乎适用于所有领域，包扌舌文本和网页处理。给出一个数据集D,机器学习的H标就是产牛一个联系属性值集合A和类标集合C的分类/预测函数(Classification/PredictionFunction),这个函数可以用于预测新的属性集合的类标。这个函数乂被称为分类模型(ClassificationModel)＞预测模型(PredictionModel)。这个分类模型可以是任何形式的，例如决策树、规则集、贝叶斯模型或者一个超平面。在监督学习(Supervi

2、sedLearning)屮，已经有数据•给出了类标；与这一，方式相对的是无监督学习(UnsupervisedLearning),在这种方式屮，所有的类属性都是未知的，算法需要根据数据集的特征口动产牛类属性。其屮算法屮用于进行学习的数据集叫做训练数据集，当使用学习算法用训练数据集学习得到•个模型以后，我们使用测试数据集来评测这个模型的精准度。机器学习的最基本假设：训练数据的分布应该与测试数据的分布一致。训练算法：训练算法就是给定一组样本，我们计算这些参数的方法。本节简要介绍以下几种常用的机器学习算法，比如决策树，朴素贝叶斯，神经网络，支持向量札线性最小平方拟合，kNN,最大

3、炳等。3.1两类感知器见课本3.2多类感知器见课本3.3决策树算法决策树学习算法是分类算法屮最广泛应用的一种技术，这种算法的分类精度与其他算法相比具有相当的竞争力，并口十分高效。决策树是-•个预测模型;他代表的是对象属性与对象值Z间的」种映射关系。树屮每个节点表示某个对象属性，而每个分叉路径则代表的某个可能的属性值，而每个叶结点则对应从根节点到该叶节点所经历的路径所表示的对象的值(类别)。决策树仅有单一输出，若欲有复数输出，可以建立独立的决策树以处理不同输出。如何构造精度高、规模小的决策树是决策树算法的核心内容。决策树构造可以分两步进行。决策树的生成：由训练样本集牛成决策

4、树的过程。一般情况下，训练样本数据集是根据实际需要有历史的、有一定综合程度的，用于数据分析处理的数据集。1.树以代表训练样本的单个结点开始。2.如果样本都在同一个类.则该结点成为树叶，并用该类标记。3.否则，算法选择最有分类能力的属性作为决策树的当前结点。4.根据当前决策结点属性取值的不同，将训练样本数据集分为若干子集，每个取值形成--个分枝。5.针对上一步得到的一•个子集，重复进行先前步骤，形成每个划分样本上的决策树。6.递归划分步骤仅当下列条件之一成立时停止：(a)给定结点的所有样本属于同一类。(b)没有剩余属性可以用來进一步划分样本。以样本组屮个数最多的类别作为类别

5、标记。.AlgorithmdccisionTree(D.A.T)1ifDcontainsonlytrainingexamplesofthesameclasscfeCthen2makeTaleafnodelabeledwithclass勺；3elscifJ=0then4makeTaleafnodelabeledwithwhichisthemostfrequentclassinD5else〃Dcontainsexamplesbelongingtoamixtureofclasses・Weselectasingle6HattributetopartitionDintosubset

6、ssothateachsubsetispurer7Pq=impurityEval-l(D);8foreachattributeeA•…4t})do9pi=impurityEval-2(Jf,D)10endfor11SelectAge{/“五…,4t}thatgivesthebiggestimpurityreduction,computedusingp0一p;12ifpo—thresholdthen//A#docsnotsignificantlyreduceimpurityp013makeTaleafnodelabeledwiththemostfrequentclassin

7、D.14dscIIisabletoreduceimpurityp015MakeTadecisionnodeon16Letthepossiblevaluesofbevj,•••,PartitionDintomdisjointsubsets£>2,•…D质basedonthemvaluesofAg.17foreachin{DhD2.Dm]do18if0H0thcn19createabranch(edge)node7}forVjasachildnodeofT20decisionTree(Z^T)〃心isremoved21endif