支持向量机简介ppt课件.ppt

《支持向量机简介ppt课件.ppt》由会员上传分享，免费在线阅读，更多相关内容在教育资源-天天文库。

1、支持向量机简介主要内容SVM的理论基础相关基础知识线性支持向量机的求解非线性支持向量机——核方法算法归纳关于SVM思想：通过某种事先选择的非线性映射（核函数）将输入向量映射到一个高维特征空间，在这个空间中寻找最优分类超平面。使得它能够尽可能多的将两类数据点正确的分开，同时使分开的两类数据点距离分类面最远。途径：构造一个约束条件下的优化问题，具体说是一个带线性不等式约束条件的二次规划问题(constrainedquadraticprograming),求解该问题，构造分类超平面，从而得到决策函数。SVM的理论基础传统机器学习方法的经验风险最小化原则统计学习理论

2、的结构化风险最小化原则VC维泛化误差的边界经验风险最小化原则ERM传统的学习理论主要是基于经验风险最小化原则（ERM）的。学习机器的预测输出的期望风险可以表示为：在训练过程中，输入与输出组成训练样本(x，y)，提供给学习机器。在测试过程中，训练后的学习机器对于输入x给出预测输出。a为广义参数（所有参数的集合）。预测输出可表示为为损失函数，用来衡量两个变量之间的不一致程度。因此，机器学习问题也可以表示为，从一组独立同分布的观测样本出发，通过最小化风险泛函R(a)，确定学习机器的广义参数a的过程。最小化期望风险R(a)，必须利用联合概率F(x,y)的信息。在实际中，

3、联合分布未知，只有观测样本。用算术平均值逼近期望风险。由于Remp(a)是用已知的训练样本（经验数据）定义的，因此称为经验风险。用经验风险Remp(a)最小化来代替期望风险R(a)最小化，来求出学习机器的参数a的方法----经验风险最小化原则ERM。多年来，经验风险最小化原则作为解决模式识别等机器学习问题的基本思想，几乎统治了这个领域内的所有研究。理论表明，当训练数据趋于无穷多时，经验风险收敛于实际风险。因此经验风险最小化原则隐含地使用了训练样本无穷多的假设条件。复杂度高的学习机器，往往具有较低的经验风险。因此，经验风险最小化原则的结果，将使学习机器变得越来越复

4、杂。因此，如何根据实际问题，在学习机器的经验风险和模型复杂度之间取得合理的折衷，从而使学习机器具有更高的泛化性能，是非常重要的问题。VC维统计学习理论是关于小样本进行归纳学习的理论，其中一个重要的概念就是VC维（Vapnik-Chervonenkisdimension）。模式识别方法中VC维的直观定义是：对一个指示函数集，如果存在h个样本能够被函数集里的函数按照所有可能的2h种形式分开，则称函数集能够把h个样本打散。函数集的VC维就是它能打散的最大样本数目h。若对任意数目的样本都有函数能将它们打散，则函数集的VC维是无穷大。VC维VC维反映了函数集的学习能力。一

5、般而言，VC维越大则学习机器越复杂，学习容量越大。一般地，对于n维空间Rn中，最多只能有n个点是线性独立的，因此Rn空间超平面的VC维是n+1。Rn空间中的超平面共有n+1个独立的参数，恰好等于VC维数。在非线性情况下学习机器的VC维通常是无法计算的，通过变通的办法巧妙地避开直接求VC维的问题。泛化误差的边界统计学习理论从VC维的概念出发，推导出了关于经验风险和实际风险之间关系的重要结论，称作泛化误差的边界。Remp(a)表示经验风险；Ψ(h/l)称为置信风险；（置信范围，VC信任）l是样本个数；参数h称为一个函数集合的VC维。当h/l较大时，置信风险较大，此时

6、用经验风险近似期望风险就会出现较大的误差。如果样本数较多，使得h/l较小，则置信风险就会较小，经验风险最小化的最优解就会接近真正的最优解。对于一个特定的学习问题，当样本数固定时，如果学习机器的VC维越高（复杂度越高），则置信风险越大，导致真实风险与经验风险之间可能的差就越大，因此设计在设计分类器时，不但要使经验风险尽可能小，而且要控制其VC维也尽可能小，从而缩小置信风险，使期望风险最小。-SRM结构风险最小化原则SRM“结构风险最小化原理”的基本想法：如果我们要求风险最小，就需要使得不等式中两项相互权衡，共同趋于极小；另外，在获得的学习模型经验风险最小的同时，希

7、望学习模型的泛化能力尽可能大，这样就需要h值尽可能小，即置信风险最小。如果固定训练样本数目l的大小，则控制风险R(a)的参量有两个：Remp(a)和h。(1)经验风险Remp(a)依赖于学习机器所选定的函数f(a,x),这样，我们可以通过控制a来控制经验风险。(2)VC维h依赖于学习机器所工作的函数集合。为了获得对h的控制，可以将函数集合结构化，建立h与各函数子结构之间的关系，通过控制对函数结构的选择来达到控制VC维h的目的。支持向量机通过最大化分类边界以最小化VC维，也即在保证经验风险最小的基础上最小化置信风险，从而达到最小化结构风险的目的，因此支持向量机方法

8、实际上就是结构风险最小化