形式识别论文

《形式识别论文》由会员上传分享，免费在线阅读，更多相关内容在工程资料-天天文库。

1、1支持向量机1.1线性SVM最优超平面SVM方法是从线性可分的情况下的最优分类面(OptimalHyperplane)提出的。设线性可分样木集为(兀,)；)，i二1,…，n；Y二｛+1,-1｝是类别标号，分类面方程为：网X+b二0(1)这个平面将两类样本没冇错误的分开，并且使得离分类面最近的样本到分类面的距离最大，即分类间隔最大，等价于使『最小，W为分类面的法向量。而要求分类面对所有样本正确分类，约束条件为：y.[(vv*x.)+/9]-l>0,i=1,2,L,n(2)因此，满足上述条件且使得11W最小的分类面就是最优分类面。过两类样木屮离分

2、类面最近的点H平行于最优分类面的超平面H・、H上的训练样本就是式(2)屮使等号成立的那些样木叫做支持向量。最优分类面可以表示为如下约束的优化问题，即在式(2)的约束下，求函数°(w)=丄

3、

4、vv

5、

6、2=—(w*vv)的最小值。为此，可以定义如卜•的拉格阴日函数:L(w,b,a)=-\w\~a.{)[[(胪兀)+切—1}2i=i(4)式中，务>0为拉格朗bl系数。把原问题转化为如下较简单的对偶问题:“1”maxQ(a)=^i~-工屛儿(兀

7、©•)/=1厶二1J二1stXw=01=1勺n0,i二1,n。1.2非线性SVM上面讨论的是最优和广义

8、线性分类函数，要解决一个特征空间屮的最优线性分类问题，我们只需知道这个空间屮的内积运算即可。按照广义线性判别函数的思路，要解决一个非线性问题，我们可以设法将它通过非线性变换转换为另一个空间的线性问题，在这个变换空间求最优或最广义分类而。考虑Mercer条件：对于任意的对称函数K(x,x),它是某个特征空间的内积运算的充分必要条件是,对与任意的0(x)恒不为0,Rj^2(%y/x0,显然这一条件不难满足。如果用内积K(x,Y)代替最优分类面的点积，就相当于把原特征空间变换到了某一新的特征空间，此时的支持

9、向量机为：n

10、nMAX0(a)=工®-牙XW儿K&宀)/=!0

11、X~;V

12、

13、};2支持向量机分类算法的实现支持向量机算法是在训练样木的特征空间求取能把两类样木没有错误分开的最大间隔超平面，在数学上表示为一个凸二次规划的问题。也可以说算法求解的主要内容是通过求解二次规划(QP)问题，这个优化问题的求解是支持向量机算法的核心，可以说支持向量机的算法就得到了实现。前面所述支持向量机算法可以表示为在式⑹和式⑺的约束下求式⑸取最小值时的拉格朗H乘子a=(519a2..…，兔y为训练样本的个数。Q(A)=-A7/+l/2ArDA(5)0

14、拉格朗H乘子；Dij=yiyjK(xi>xj)是一个正定矩阵;y=(牙』2,…儿)"是样本的所属类别,由1或一1组成的列向量；Xi为训练样本。可以看出，求解支持向量机就是求解上述的一个二次规划问题，求解后得到拉格朗H乘子A=(dl,d2,....,dH)T,也就求得了最大间隔超平面。求解这个二次规划问题需要深厚的数学功底数值计算方面的技能，在主流程序语言中实现算法乂需要专业的计算机程序设计的知识。在MATLAB环境下求解这一问题会变得非常简单，这得益于MATLAB软件强大的优化工具箱，提供了一个求解二次规划的函数，可以直接调用。二次规划问题(

15、quadraticprogramming)的标准形式为：minfx+—xHx2sub.toAxlb、ub为标准形中的参数；x为求解得到的最优值，也就是二次规划的解析解；lb、ub

16、分别为x的下界与上界，满足不等式约b