支持向量机SVM演讲稿.ppt

《支持向量机SVM演讲稿.ppt》由会员上传分享，免费在线阅读，更多相关内容在应用文档-天天文库。

1、SVM的学术文献引用SVM的学术文献引用SVM的学术文献引用VC维SVM的学术文献引用结构风险最小化SVM的学术文献引用结构风险最小化SVM的学术文献引用结构风险最小化SVM的学术文献引用结构风险最小化SVM的学术文献引用结构风险最小化SVM的学术文献引用结构风险最小化SVM的形成思路--线性分类器SVM的形成思路--线性分类器SVM的形成思路--线性分类器SVM的形成思路--线性分类器SVM的形成思路--线性分类器SVM的形成思路--线性分类器SVM的形成思路--线性分类器SVM的形成思路--线性分类器SVM的形成思路--线性分类器SVM的形成思路--线性分类器SVM的形成思路--

2、线性分类器H是分类面，而H1和H2是平行于H，且过离H最近的两类样本的直线，H1与H，H2与H之间的距离就是几何间隔。SVM的形成思路--线性分类器我们就明白为何要选择几何间隔来作为评价一个解优劣的指标了，原来几何间隔越大的解，它的误差上界越小。因此最大化几何间隔成了我们训练阶段的目标SVM的形成思路--线性分类器的求解SVM的形成思路--线性分类器的求解SVM的形成思路--线性分类器的求解SVM的形成思路--线性分类器的求解造成这种结果的原因是在描述问题的时候只考虑了目标，而没有加入约束条件，约束条件就是在求解过程中必须满足的条件，体现在我们的问题中就是样本点必须在H1或H2的某一

3、侧（或者至少在H1和H2上），而不能跑到两者中间。我们前文提到过把间隔固定为1，这是指把所有样本点中间隔最小的那一点的间隔定为1（这也是集合的间隔的定义，有点绕嘴），也就意味着集合中的其他点间隔都不会小于1，按照间隔的定义，满足这些条件就相当于让下面的式子总是成立：yi[(w·xi)+b]≥1(i=1,2,…,l)（l是总的样本数）但我们常常习惯让式子的值和0比较，因而经常用变换过的形式：yi[(w·xi)+b]-1≥0(i=1,2,…,l)（l是总的样本数）因此我们的两类分类问题也被我们转化成了它的数学形式，一个带约束的最小值的问题：SVM的形成思路--线性分类器的求解SVM的形成

4、思路--线性分类器的求解SVM的形成思路--线性分类器的求解那么w是谁决定的？显然是你给的样本决定的，一旦你在空间中给出了那些个样本点，三条直线的位置实际上就唯一确定了（因为我们求的是最优的那三条，当然是唯一的），我们解优化问题的过程也只不过是把这个确定了的东西算出来而已。样本确定了w，用数学的语言描述，就是w可以表示为样本的某种组合：w=α1x1+α2x2+…+αnxn式子中的αi是一个一个的数（在严格的证明过程中，这些α被称为拉格朗日乘子），而xi是样本点，因而是向量，n就是总样本点的个数。为了方便描述，下面会用α1x1表示数字和向量的乘积，而用表示向量x1,x2的

5、内积（也叫点积，注意与向量叉积的区别）。因此g(x)的表达式严格的形式应该是：g(x)=+bSVM的形成思路--线性分类器的求解但是上面的式子还不够好，回头看看图中正样本和负样本的位置，想像一下，不动所有点的位置，而只是把其中一个正样本点定为负样本点（也就是把一个点的形状从圆形变为方形），结果怎么样？三条直线都必须移动（因为对这三条直线的要求是必须把方形和圆形的点正确分开）！这说明w不仅跟样本点的位置有关，还跟样本的类别有关（也就是和样本的“标签”有关）。因此用下面这个式子表示才算完整：w=α1y1x1+α2y2x2+…+αnynxn（式1）其中的yi就是第i个样本的标签，

6、它等于1或者-1。其实以上式子的那一堆拉格朗日乘子中，只有很少的一部分不等于0（不等于0才对w起决定作用），这部分不等于0的拉格朗日乘子后面所乘的样本点，其实都落在H1和H2上，也正是这部分样本（而不需要全部样本）唯一的确定了分类函数，当然，更严格的说，这些样本的一部分就可以确定，因为例如确定一条直线，只需要两个点就可以，即便有三五个都落在上面，我们也不是全都需要。这部分我们真正需要的样本点，就叫做支持向量！SVM的形成思路--线性分类器的求解式子也可以用求和符号简写一下：因此原来的g(x)表达式可以写为：SVM的形成思路--线性分类器的求解其实这里已经简化了，只不过在看不见的地方，

7、以这样的形式描述问题以后，我们的优化问题少了很大一部分不等式约束（记得这是我们解不了极值问题的万恶之源）。但是接下来先跳过线性分类器求解的部分，来看看SVM在线性分类器上所做的重大改进——核函数。SVM的形成思路--核函数之前一直在讨论的线性分类器，只能对线性可分的样本做处理。如果提供的样本线性不可分，结果很简单，线性分类器的求解程序会无限循环，永远也解不出来。这必然使得它的适用范围大大缩小，而它的很多优点我们实在不原意放弃，所以采取这样的方案。SVM的形