支持向量机原理.docx

《支持向量机原理.docx》由会员上传分享，免费在线阅读，更多相关内容在行业资料-天天文库。

1、第3章支持向量机基础ByDean支持向量机（SupportVectorMachies）是由Vapnik等人于1995年提出来的。之后随着统计理论的发展，支持向量机也逐渐受到了各领域研究者的关注，在很短的时间就得到很广泛的应用。支持向量机是建立在统计学习理论的VC维理论和结构风险最小化原理基础上的，利用有限的样本所提供的信息对模型的复杂性和学习能力两者进行了寻求最佳的折衷，以获得最好的泛化能力。SVM的基本思想是把训练数据非线性的映射到一个更高维的特征空间（Hilbert空间）中，在这个高维的特征空间中寻找到一个超平面使得正例和反例两者间的隔离边缘被最大化。SV

2、M的出现有效的解决了传统的神经网络结果选择问题、局部极小值、过拟合等问题。并且在小样本、非线性、数据高维等机器学习问题中表现出很多令人注目的性质，被广泛地应用在模式识别，数据挖掘等领域(张学工2000；崔伟东2001)。支持向量机可以用于分类和回归问题，本章着重介绍分类相关的知识。3.1SVM的基本思想3.1.1最优分类面SVM是由线性可分情况的最优分类面发展而来的，用于两类问题的分类。下面用一个二维两类问题来说明SVM基本思想(白鹏等，2008)。图3.1最优超平面示意图C1和C2代表两类数据样本，各样本在二维中显示如图3.1，图中的直线P0,P1就是分类函

3、数。如果一个线性函数就完全可以把两类所有样本分开，那么就称这些数据是线性可分的；否则称非线性可分。假设两类线性可分的训练数据样本x1,y1,x2,y2,…xN,yN,xi∈Rd(d代表样本xi的长度),yi∈+1,-1,i=1,2,…,N.其线性判别函数的一般表达式是fx=w*x+b,该函数对应的分类面方程是：w*x+b=0(3-1)线性判别函数的值一般是连续的实数，而分类问题需要输出的是离散值。例如利用数值-1表示类别C1，而用数值+1表示类别C2.所有的样本都只能用数值-1和+1表示。这时我们可以通过设置一个阀值，通过判断判别函数的值是大于或者小于这个阀值

4、来判断属于某一类。若我们取这个阀值为0，即当f(x)≤0时，判别样本为类别C1(即-1)；当f(x)≥0时，判别样本为类别C2(即+1).现在将判别函数进行归一化，使两类所有样本都满足f(x)≥1，这时离分类面近的样本都有f(x)=1。若要对所有样本正确分类需满足，yiw*x+b-1≥0,i=1,…N(3-2)这时分类间隔为2w.寻求最优的分类面即使得分类间隔最大化。可以发现间隔最大等价于12w2最小。因此最优化分类面问题可以表示成如下的约束优化问题，如下：MinΦw=12w2(3-3)约束条件为：yiw*x+b-1≥0,i=1,…N(3-4)定义如下Lagr

5、ange函数:Lw,b,α=12w2-i=1Nαiyiw*xi+b-1(3-5)式中，αi≥0为Lagrange乘子。为了求得函数式(3-5)的最小值，我们对w,b,α分别求导有：∂L∂w=0⇒w=i=1Nαiyixi∂L∂b=0⇒i=1Nαiyi=0∂L∂α=0⇒αiyiw*xi+b-1=0(3-6)由式(3-6)和(3-2)可将上述的最优化分类面的求解问题转化为一个凸二次规划寻优的对偶问题，如下：Maxi=1Nαi-12i=1Nj=1Nαiαjyiyj(xi,xj)(3-7)约束条件为：αi≥0i=1Nαiyi=0(3-8)这个二次函数寻优的问题存在唯一解

6、，若αi*为最优解，则：w*=i=1Nαi*yixi(3-9)其中αi*不为0对应的即为支持向量(SupportVector).并且最优分类面的权系数向量是支持向量的线性组合。分类阀值b*可由(3-6)式求得，b*=-12w*,xr+xs(3-10)式中xr,xs分别是两类中任意支持向量，αr,αs>0,yr=-1,ys=1.由于除了支持向量外，非支持向量所对应的αi=0,所以最优分类面函数可简写为：fx=sgnsvαi*yixi,x+b*(3-11)此时SVM最一般的表达式已经被求得。3.1.2广义的最优分类面但当有少数样本使得原来线性可分的问题变成不可分问

7、题，从而影响了分类器的性能。有时这少数的样本也是噪声，或是奇异值点，是我们在人工对数据分类错分的，为了忽略这些点对分类器的影响，和在经验风险和泛化性能之间求得平衡，松弛因子ξ被引入。它容许错分样本的存在，这时分类面满足：yiw*x+b≥1-ξi,i=1,…N(3-12)当0≤ξi≪1时，样本xi可以正确分类；当ξi≫1时，样本xi会被错分。由于松弛因子的引入，式（3-3）的目标函数被改写为:Φw,ξ=12w2+Ci=1Nξi(3-13)式中C是惩罚因子(一个正常数).此时，式目标函数凸二次规划寻优的对偶问题约束条件(3-8)可被变换为如为：0≤αi≤Ci=1N

8、αiyi=0(3-14)3.2核函数3