集成学习boosting与bagging

《集成学习boosting与bagging》由会员上传分享，免费在线阅读，更多相关内容在教育资源-天天文库。

1、Boostingandbagging算法1Boosting算法Boosting算法是近十年最有效的算法之一，其主要代表算法有Adaboost算法和AdaBoost算法改进等。（记单词）AdaBoost算法基本思想：对同一个训练集使用不同的特征训练出不同的弱分类器，然后将这些弱分类器组合起来，提升为一个分类能力更强的强分类器。算法是通过数据分布的改变来实现的，根据每次弱分类器训练集中每个样本的分类正确与否，及上次总体分类的准确率，对每个样本的权值进行调整，降低弱分类器中分类正确的样本的权值，提高弱分类器分类错误的样本的权值。修改过权值的新数据表集作为下层分类器的训练集，经过多

2、次迭代得到相应的弱分类器，对训练得到的这些弱分类器进行融合，得到最终的强分类器。1.1AdaBoost系列应用AdaBoost系列主要解决了：两类问题、多类单标签问题、多类多标签问题、大类单标签问题，回归问题。它用全部的训练样本进行学习。注：一般无特别说明，boosting都是指AdaBoost算法TheAdaBoost算法图像正样本=1负样本=-1Step1:训练集Step2:初始化权值Fort=1,…,T1.归一化权值,2.对于第j个特征,在给定权值条件下训练弱分类器hj，弱分类器的分类错误率为：3.更新权值:End最终的强分类器：AdaBoost人脸检测原始图像特征提

3、取HaarBasisFunctionsHaarBasisFunctionsHaarBasisFunctions特征计算AdaBoost训练特征选择大量的特征小部分特征训练级联结构AdaBoost学习算法用于特征选择AdaBoost应用于分类学习处理特征集训练集+1正样本-1负样本各种各样的特征人脸非人脸最终的强分类器大约有180,000个矩形特征2424若分类器1若分类器2若分类器3最终的强分类器弱分类器训练图示说明X(训练集)ex脸部图像非脸部图像如果fj(x)>X是脸部图像FalsepositiveFalsenegative训练集弱分类器训练图示说明特征每幅图像大约有

4、180,000个特征误差归一化权重错误正确正确错误更新权值级联AdaBoostAdaBoost特征集FeatureSelect&Classifier1FalseAdaBoost2TFalseAdaBoostnTFalse非人脸100%DetectionRate50%FalsePositive离散AdaBoost-AdaBoost.M1AdaBoost.M1和AdaBoost.M2是用来解决多分类单标签问题AdaBoost.M1算法Step1:训练集Step2:初始化权值Fort=1,…,T1.归一化权值,2.对于第j个特征,在给定权值条件下训练若分类器hj，若分类器的分类错

5、误率为：3.更新权值:End最终的强分类器：Floatboost算法向前增加一个弱分类器之后，就需要向后回馈r。r的取值取决于当前分类性能的稳定性。这种弱分类器选择的方法相对于前向搜索来说具有更大的灵活性，因此，增加弱分类器组合的多样性，相比AdaBoost中的单调搜索有更优的解集合。TheAdaBoost算法图像正样本=1负样本=-1Step1:训练集Step2:初始化权值Fort=1,…,T1.每个弱分类器h,在权值下进行训练，得到预测函数ht.2.计算误判率，选取参数at：3.更新权值:4.最终的预测函数：Step3:弱分类器训练2bagging算法Bagging算法

6、的主要思想：给定训练集和弱学习算法，对该学习算法进行T次调用，每次调用时只使用训练集S中的某个子集作为当前训练集，每一个训练例在某轮训练集中可以多次或根本不出现。经过T次调用后，可得到T个不同的分类器啊，当对于一个测试实例工进行分类时，分别调用这T个分类器，得到T个分类结果。最后对分类问题把这T个分类结果中出现次数多的类赋予测试实例x。Bagging算法Step1:训练Step2:初始化权值Fort=1,…,T1.S’为从给定训练集S中，随机抽样（有放回）.2.在S’上训练弱学习器，得到第t轮的预测函数ht.3.t=t+1.End最终输出：对未知样本X分类时，每个模型ht得

7、到一个分类器，得票最高的未知样本x的分类Bagging和AdaBoost区别Bagging的训练集是随机的，各训练集是独的，而Boosting训练集的选择不是独立的，每一次选择的训练集都依赖于上一次学习的结果。Bagging的每个预测函数(即弱假设)没有权重，而Boosting根据每一次训练的训练误差得到该次预测函数的权重。Bagging的各个预测函数可以并行生成，而Boosting的只能顺序生成。对于像神经网络这样极为耗时的学习方法，Bagging可通过并行训练节省大量时间开销。