《支持向量机原理》PPT课件.ppt

《《支持向量机原理》PPT课件.ppt》由会员上传分享，免费在线阅读，更多相关内容在教育资源-天天文库。

1、支持向量机2014-2-21本讲主要内容一.支持向量机二.最大间隔分类器三.核函数四.软间隔优化五.支持向量机总结一.SVM—warmingup1.1SVM概念简介1.2超平面1.3logistic回归1.4形式化表示1.5函数间隔与几何间隔1.1SVM概念简介支持向量机（SVM）是90年代中期发展起来的基于统计学习理论的一种机器学习方法，通过寻求结构化风险最小来提高学习机泛化能力，实现经验风险和置信范围的最小化，从而达到在统计样本量较少的情况下，亦能获得良好统计规律的目的。通俗来讲，它是一种二类分类模型，其基本模型定义为特征空间上的间隔最大的线性分类器，

2、即支持向量机的学习策略便是间隔最大化，最终可转化为一个凸二次规划问题的求解。1.2超平面超平面H是从n维空间到n-1维空间的一个映射子空间。设d是n维欧式空间R中的一个非零向量，a是实数，则R中满足条件dX=a的点X所组成的集合称为R中的一张超平面。1.3logistic回归Logistic回归目的是从特征学习出一个0/1分类模型，而这个模型是将特性的线性组合作为自变量，由于自变量的取值范围是负无穷到正无穷。因此，使用logistic函数（或称作sigmoid函数）将自变量映射到(0,1)上，映射后的值被认为是属于y=1的概率。1.3logistic回归形

3、式化表示：假设函数为：x是n维特征向量，函数g就是logistic函数。其中图像如图所示：可以看到，将无穷映射到了(0,1)1.4形式化表示结果标签是y=-1,y=1，替换logistic回归中的y=0和y=1。同时将替换成w和b。以前的，其中认为。现在我们替换为b，后面替换为（即）。我们只需考虑的正负问题，而不用关心g(z)，因此我们这里将g(z)做一个简化，将其简单映射到y=-1和y=1上。映射关系如下：1.5函数间隔与几何间隔定义函数间隔为：x是特征，y是结果标签。i表示第i个样本。（这是单个样本）全局函数间隔：在训练样本上分类正例和负例确信度最小那

4、个函数间隔1.5函数间隔与几何间隔几何间隔：全局几何间隔：二.最大间隔分类器2.1二次规划原问题建立2.2拉格朗日对偶2.2.1等式约束2.2.1不等式约束2.3最大间隔分类器2.1二次规划原问题建立形式1：形式2：形式3：2.2拉格朗日对偶之等式约束问题：目标函数是f(w)，通常解法是引入拉格朗日算子，这里使用来表示β算子，得到拉格朗日公式为：L是等式约束的个数。然后分别对w和β求偏导，使得偏导数等于0，然后解出w和β。2.2拉格朗日对偶之不等式约束问题：利用拉格朗日公式变换：令知2.2拉格朗日对偶之不等式约束原来要求的minf(w)可以转换成求了。利用

5、对偶求解:D的意思是对偶，将问题转化为先求拉格朗日关于w的最小值，将α和β看作是固定值。之后在求最大值的话：2.2拉格朗日对偶之不等式约束下面解释在什么条件下两者会等价。假设f和g都是凸函数，h是仿射的。并且存在w使得对于所有的i，。在这种假设下，一定存在使得是原问题的解，是对偶问题的解。还有另外，满足库恩-塔克条件（Karush-Kuhn-Tucker,KKTcondition），该条件如下：2.3最大间隔分类器重新回到SVM的优化问题：我们将约束条件改写为：2.3最大间隔分类器从KKT条件得知只有函数间隔是1（离超平面最近的点）的线性约束式前面的系数，

6、也就是说这些约束式，对于其他的不在线上的点()，极值不会在他们所在的范围内取得，因此前面的系数.注意每一个约束式实际就是一个训练样本。2.3最大间隔分类器实线是最大间隔超平面，假设×号的是正例，圆圈的是负例。在虚线上的点就是函数间隔是1的点，那么他们前面的系数，其他点都是。这三个点称作支持向量。构造拉格朗日函数如下：2.3最大间隔分类器下面我们按照对偶问题的求解步骤来一步步进行，首先求解的最小值，对于固定的，的最小值只与w和b有关。对w和b分别求偏导数。2.3最大间隔分类器得到：代入后，结果如下：由于最后一项是0，因此简化为2.3最大间隔分类器此时的拉格朗

7、日函数只包含了变量。然而我们求出了才能得到w和b。接着是极大化的过程2.3最大间隔分类器前面提到过对偶问题和原问题满足的几个条件，首先由于目标函数和线性约束都是凸函数，而且这里不存在等式约束h。存在w使得对于所有的i，因此，一定存在使得是原问题的解，是对偶问题的解。在这里，求就是求了。如果求出了，根据即可求出w（也是，原问题的解）。然后即可求出b。即离超平面最近的正的函数间隔要等于离超平面最近的负的函数间隔。三.核函数3.1核函数简介3.2核函数有效性判定3.1核函数简介建立一个R2R3的非线性映射计算R3中2个矢量的内积：定义核函数：，则：输入空间特征

8、空间3.1核函数简介上个例子说明：特征空间中两个矢量之间的内积可以