adaboost阶段小结

《adaboost阶段小结》由会员上传分享，免费在线阅读，更多相关内容在教育资源-天天文库。

1、提纲前期调研AdaBoost原理一些问题前期调研PAC学习模型[2-3]机器学习中，训练样本再大也不能代表某类事物本身，所以从训练样本中学习得到“规则”不能对某类事物完全适用，总有失效的情况出现，所以机器学习的目标是概率逼近正确学习!1984年Valiant提出PAC（ProbablyApproximatelyCorrect）学习模型文中提出强学习和弱学习两个概念。Valiant的贡献Valiant指出弱学习转换为强学习的可行性！实际运用中，人们根据生产经验可以较为容易的找到弱学习方法，但是很多情况下要找到强学习方法是不容易的。有时候人们倾向于通过先找到弱学习

2、然后把它转换为强学习的方式获取强学习方法，而Valiant证明了这种方式的可行性。怎样实现弱学习转为强学习核心思想：通过组合使弱学习互补。学习是不适定问题，在有限的样本上，不同的学习方法得到不同的“规则”，并在不同的情况下失效，没有一种学习算法总是在任何领域产生最好的分类效果。例如：学习算法A在a情况下失效，学习算法B在b情况下失效，那么在a情况下可以用B算法，在b情况下可以用A算法解决。这说明通过某种合适的方式把各种算法组合起来，可以提高准确率。为实现弱学习互补，面临两个问题：（1）怎样获得不同的弱分类器？（2）怎样组合弱分类器？怎样获得不同的弱分类器使用不

3、同的弱学习算法得到不同基学习器参数估计、非参数估计…使用相同的弱学习算法，但用不同的超参数K-Mean不同的K，神经网络不同的隐含层…相同输入对象的不同表示不同的表示可以凸显事物不同的特征使用不同的训练集装袋（bagging）提升（boosting）怎样组合弱分类器多专家组合一种并行结构，所有的弱分类器都给出各自的预测结果，通过“组合器”把这些预测结果转换为最终结果。eg.投票（voting）及其变种、混合专家模型多级组合一种串行结构，其中下一个分类器只在前一个分类器预测不够准（不够自信）的实例上进行训练或检测。eg.级联算法（cascading）小结通过前期

4、调研我比较关注是boosting原理。bagging在给定样本上随机抽取（有放回）训练子集，在每个训练子集上用不稳定的学习算法训练分类不同弱分类器。boosting在前一个弱分类器错分的实例在后续的弱分类器上得到更大的重视。从训练子集的获取方式上看：bagging靠“运气”，boosting有“依据”！所谓不稳定学习算法是指训练集很小的变化会引起所产生的分类器变化很大，即学习算法高方差。例如，决策树。AdaBoost原理AdaBoost的由来？AdaBoost的核心思想“关注”被错分的样本，“器重”性能好的弱分类器怎么实现（1）不同的训练集调整样本权重（2）

5、“关注”增加错分样本权重（3）“器重”好的分类器权重大（4）样本权重间接影响分类器权重原始AdaBoost1995年Freund提出AdaBoost算法，1999年Schapire在一篇会议论文上对Freund的AdaBoost重新表述，基本原理不变但是更易理解，下面以Schapire的版本介绍AdaBoost。Given:mexamples(x1,y1),…,(xm,ym)wherexiÎX,yiÎY={-1,+1}InitializeD1(i)=1/mFort=1toT1.Trainlearnerhtwithminerror2.Computethehy

6、pothesisweight3.Foreachexamplei=1tomOutputTheweightAdapts.Thebiggeretbecomesthesmalleratbecomes.Ztisanormalizationfactor.Boostexampleifincorrectlypredicted.Linearcombinationofmodels.SchapireAdaBoostAlgorithmAdaBoost的收敛性证明整个证明的核心：，不等左边是最终强分类器的错误率证明过程：至此，看到AdaBoost的错误率上限，接下来的目标就是使这个上限

7、尽可能小！怎么使尽量小看到是关于的函数，要使最小显然需要研究！在原始的AdaBoost算法中采用贪婪算法，每次的都是最小的保证收敛到满意的结果。在原始AdaBoost算法中h值域是{-1，1}，问题是怎么找到最佳的这时候前面证明原始AdaBoost算法的收敛性，但是原始AdaBoost的收敛速度是不是就是最好的，有没有更快的？有，Schapire提出了RealAdaBoost收敛更快！再次明确一下目标：使尽量小！对于原始的AdaBoost，前文讨论过其h是“定死”的，失去了“讨价还价”的余地，进而确定了的选择方法，所以在RealAdaBoost不在“定死”Re

8、alAdaBoostAlgorithm