机器学习整理新

《机器学习整理新》由会员上传分享，免费在线阅读，更多相关内容在工程资料-天天文库。

1、第一章计算学习理论（书的第七章）1．概念传统的模式识别理论是以概率为1成立为基础?PAC（probablyapproximatelycorrect,概率近似正确）认为机器学习应该以PAC为基础?统计学习理论（egSVM）中的泛化理论以此为基础?弱可学习理论及集群（Ensemble）学习以此为理论基础3．PAC可学习性概率近似（PAC）学习：首先只要求学习器输出错误率限定在某常数ε范围内的假设，其次要求对所有的随机抽取样例序列的失败的概率限定在某常数δ范围内PAC可学习性的一个隐含的条件：对C中每个目标概念c，假设空间H都包含一个

2、以任意小误差接近c的假设第二章集群学习理论1．ADABOOST弱可学习的概念：通常指一个弱分类器，该分类器的性能仅仅比随机猜测稍好一点弱可学习定理：如果一个概念是弱可学习的，其必要条件是它是强可学习的。定理的证明过程是构造性的，?Boosting技术弱可学习定理的现实指导意义：?意味着我们只需要设计一组弱分类器，并将它们集群起来，就可以构成一个强分类器集群机器学习：?将若干弱学习器集成（提升）为一个强学习器的学习算法Thegoalofalearningalgorithmistofindaclassifierwithlowgene

3、ralizationerror.TheunderlyingideaofBoostingistocombinesimple“rules”toformanensemblesuchthattheperformanceofthesingleclassifierisimproved学习算法的一个目标是找到一个分类器低泛化误差。来刺激基本思想是将简单的“规则“，形成一个合奏等该单分类器的性能得到改善ThemainideasofAdaBoostistomaintainadistributionorasetofweightsoverthetra

4、iningset.Initially,allweightsaresetequally,butoneachround,theweightsonmisclassifiedexamplesareincreasedsothattheweaklearnerisforcedtofocusonthehardsamplesinthetrainingset.AdaBoost算法的主要思想的是保持一个或一组分布在训练的权重集。最初，所有的权重设置同样的，但在每一轮的权重上误判例子增多，使学习者被迫弱专注于训练集的硬样品。(1)样本的权重•没有先验知

5、识的情况下，初始的分布应为等概分布，也就是训练集如果有N个样本，每个样本的分布概率为1/N•每次循环一后提高错误样本的分布概率，分错样本在训练集中所占权重增大，使得下一次循环的弱学习机能够集中力量对这些错误样本进行判断。(2)弱学习机的权重•准确率越高的弱学习机权重越高(3)循环控制：损失函数达到最小•在强学习机的组合中增加一个加权的弱学习机，使准确率提高，损失函数值减小。1．ADABOOST计算步骤?Step1:原始训练集输入，带有原始分布?Step2:给出训练集中各样本的权重?Step3:将改变分布后的训练集输入已知的弱学习

6、机，弱学习机对每个样本给出假设?Step4:对此次的弱学习机给出权重?Step5:转到Step2,直到循环到达一定次数或者某度量标准符合要求?Step6:将弱学习机按其相应的权重加权组合形成强学习机1．ADABOOST基本思想与一些结论（看实例）样本的权重?没有先验知识的情况下，初始的分布应为等概分布，也就是训练集如果有N个样本，每个样本的分布概率为1/N?每次循环一后提高错误样本的分布概率，分错样本在训练集中所占权重增大，使得下一次循环的弱学习机能够集中力量对这些错误样本进行判断。弱学习机的权重?准确率越高的弱学习机权重越高循

7、环控制：损失函数达到最小?在强学习机的组合中增加一个加权的弱学习机，使准确率提高，损失函数值减小。Largemarginproperty?AdaBoostalgorithmissuitedtothetaskofmaximizingmarginoftrainingsamples.Thatmeansthegenerationperformanceisgood.AdaBoost算法适合最大化利润任务训练样本。这意味着一代性能好的。Conferencemeasurement?AdaBoostcanbeextendedtohandlewe

8、akhypotheseswhichoutputreal-valuedorconfidence-ratedpredictions.AdaBoost算法可以推广到弱的假设的处理输出的实值或信心级预测。2．ADABOOST优缺点优点：提高分类精度保证性能的理论可用于许