Adaboost算法原理及简单实现.ppt

《Adaboost算法原理及简单实现.ppt》由会员上传分享，免费在线阅读，更多相关内容在行业资料-天天文库。

1、Adaboost算法原理及简单实现目录背景简介1Adaboost原理简介2实验3背景简介Bagging和Boosting都是分类器的集成技术，Bagging出现在Boosting之前。这种算法都比较简单，只是将分类器进行简单的组合，实际上，并没有发挥出分类器组合的威力来。之后在1990年，Schapire提出了Boosting算法，次年Freund改进Boosting算法，这两种算法存在共同的实践上的缺陷， 那就是都要求事先知道弱学习算法学习正确率的下限。1995年，Freund和Schapire共同改进了Boosting算法，提出了AdaBoost(Adaptive

2、Boosting)算法，该算法效率和Freund于1991年提出的Boosting算法几乎相同， 但不需要任何关于弱学习器的先验知识， 因而更容易应用到实际问题当中。Adaboost原理简介Adaboost是一种迭代算法，其核心思想是针对同一个训练集训练不同的分类器(弱分类器)，然后把这些弱分类器集合起来，构成一个更强的最终分类器(强分类器)。其算法本身是通过改变数据分布来实现的，它根据每次训练集之中每个样本的分类是否正确，以及上次的总体分类的准确率，来确定每个样本的权值。将修改过权值的新数据集送给下层分类器进行训练，最后将每次训练得到的分类器最后融合起来作为最后的决

3、策分类器。Adaboost原理简介AdaBoost.M1  DiscreteAdaBoost：训练过程1.初始化：初始赋予每个样本相等的权重；基分类器个数L；2.Fork=1,2,…,LDo根据分布从训练数据集中抽取样本;将用作训练数据集建立一个分类器；计算该分类器的加权训练误差；若则令=，重新训练分类器；否则，计算;继而更新训练集上的权重分布结束循环训练过程3.给定测试数据，采用加权融合方式计算每一类的支持度4.预测此测试数据的类标签为支持度最大的类。实验数据集：LISSAJOUSFIGUREDATA(p42)训练数据个数：700测试数据个数：300基分类器：决策树

4、(p95-99)实验数据集：LISSAJOUSFIGUREDATA(p42)训练数据个数：700测试数据个数：300基分类器：决策树(p95-99)基分类器个数为1及20时分类结果实验数据集：LISSAJOUSFIGUREDATA(p42)训练数据个数：700测试数据个数：300基分类器：决策树(p95-99)分类误差随基分类器个数变化图test_error=Columns1through150.10370.10700.12710.08360.10030.09700.09360.10370.09030.08700.09030.08360.08700.09700.090

5、3Columns16through200.09030.09360.10030.08700.0903