svm算法简介解析ppt课件.ppt

《svm算法简介解析ppt课件.ppt》由会员上传分享，免费在线阅读，更多相关内容在教育资源-天天文库。

1、svm(supportedvectormachine)概念：支持向量机是CorinnaCortes和Vapnik等于1995年首先提出的，其基本原理是（以二维数据为例）：如果训练数据是分布在二维平面上的点，它们按照其分类聚集在不同的区域。基于分类边界的分类算法的目标是，通过训练，找到这些分类之间的边界。对于多维数据（如N维），可以将它们视为N维空间中的点，而分类边界就是N维空间中的面，称为超面（超面比N维空间少一维）。线性分类器使用超平面类型的边界，非线性分类器使用超曲面。数据：线性可分&线性不可分线性可分线性不可分情况1：样本本质上是非线性可分的解决方法：

2、核函数情况2：本质上线性，非线性由噪音导致强制使用非线性函数，会导致过拟合解决方法：软间隔两种情况线性可分定义：对于来自两类的一组模式,如果能用一个线性判别函数正确分类,则称他们是线性可分的。线性不可分线性可分情况我们怎样才能取得一个最优的划分直线f(x)呢？最大距离MaximumMarginal从概率的角度上来说，就是使得置信度最小的点置信度最大从实践的角度来说，这样的效果非常好从误差的角度，误分次数≤（其中，是样本集合到分类面的间隔，R是空间中一个能完全包含样本数据的球的半径）误分次数一定程度上代表分类器的误差，间隔越大的解，它的误差上界越小。函数间隔定

3、义函数间隔为：接着，我们定义超平面（w,b）关于训练数据集T的函数间隔为超平面（w,b）关于T中所有样本点（xi,yi）的函数间隔最小值，其中，x是特征，y是结果标签，i表示第i个样本，有定义函数间隔的原因一般而言，一个点距离超平面的远近可以表示为分类预测的确信或准确程度。在超平面确定的情况下，能够相对的表示点X到超平面的远近，而的符号与类标记y的符号是否一致表示分类是否正确，所以，可以用量的正负性来判定或表示分类的正确性和确信度，于是引出函数间隔概念。函数间隔的局限性上述定义的函数间隔虽然可以表示分类预测的正确性和确信度，但在选择分类超平面时，只有函数间隔

4、还远远不够，因为如果成比例的改变w和b，如将他们改变为2w和2b，虽然此时超平面没有改变，但函数间隔的值却发生改变。我们可以对法向量w加些约束条件，使其表面看起来规范化，如此，我们引入了真正意义点到超平面的距离--几何间隔。几何间隔在函数间隔的基础上，对w和b进行归一化，即为几何间隔：这时如果成比例的改变w和b，几何间隔的值不会发生改变。因为wx+b=0，为了方便，我们可以按任意比例缩放w和b，而不会改变结果。我们可以添加这样的约束条件，这意味着可以先求出w和b的解，之后重新缩放这些参数，就可以轻易地满足这个条件。最大间隔分类器的定义由于函数间隔的缺陷，不适

5、合用来最大化一个量，因为在超平面固定以后，我们可以等比例地缩放w好b的值，这样可以使得的值任意打，亦即函数间隔可以在超平面不变的情况下被取得任意大。而几何间隔则没有这个问题，因为除上这个分母，所以缩放w和b的时候几何间隔不会随之改变，它只随超平面的变动而变动，因此更加适合用其来定义最大距离。因此，我们的最大间隔分类的目标函数可以定义为：事实证明这个约束是一个非凸性约束，我们需要避免，所以我们需要改变优化问题的表述方式。添加约束条件，这是一个隐含的缩放约束，因为假设你已经解出了w和b，并且发现最差情形的函数间隔是10或者其他值，这样，通过对w和b除以10或者其

6、他值，我们可以将函数间隔变为1。此时，优化问题的表达式为：我们的优化问题转变成了一个凸优化问题目标函数是二次的，约束条件是线性的，所以这是一个凸二次规划问题，所以一定会存在全局的最优解，这个问题可以用现成的QP（quadraticprogramming）优化包或者二次程序软件进行求解。此外，由于这个问题的特殊结构，还可以通过拉格朗日对偶性变换到对偶变量的优化问题，即通过与原问题等价的对偶问题得到原始问题的最优解，这就是线性可分条件下支持向量机的对偶算法，这样做的优点在于：一者对偶问题往往更容易求解，二者可以自然的引入核函数，进而推广到非线性分类问题。最优问题

7、的求解拉格朗日乘数法的扩展形式minf(w)s.t.gi(w)≤0i=1,2,...,khi(w)=0i=1,2,...,l（这里0指的是零向量）定义：当所有约束条件都满足时有对偶问题一般有，但是在某些特定条件下（KKT），这两个最优化问题会取相同的值。（经证明，我们求解的目标函数满足条件KKT条件）1.首先固定α，要让L关于w和b最小化，我们分别对w,b偏导并令其等于零，得到带回得到：凸二次规划问题求解问题转换为：由凸二次规划的性质能保证这样最优的向量a是存在的凸二次规划问题求解2.求对α的极大，即是关于对偶变量的优化问题（SMO优化算法--序列最小最优化

8、算法）然后根据可求出最优的w和b，即最优超平面。一个