2019-支持向量机ppt课件.ppt

《2019-支持向量机ppt课件.ppt》由会员上传分享，免费在线阅读，更多相关内容在教育资源-天天文库。

1、支持向量机Vapnik等人在多年研究统计学习理论基础上对线性分类器提出了另一种设计最佳准则。其原理也从线性可分说起，然后扩展到线性不可分的情况。甚至扩展到使用非线性函数中去，这种分类器被称为支持向量机(SupportVectorMachine，简称SVM)。支持向量机方法是在近年来提出的一种新方法。支持向量机在设计时，需要用到条件极值问题的求解，因此需用拉格朗日乘子理论，但对多数人来说，以前学到的或常用的是约束条件为等式表示的方式，但在此要用到以不等式作为必须满足的条件，此时只要了解拉格朗日理论的有关结论就行。线性

2、可分条件下的支持向量机最优分界面SVM的思想：由于两类别训练样本线性可分，因此在两个类别的样本集之间存在一个间隔。对一个二维空间的问题用下图表示。线性可分条件下的支持向量机最优分界面其中H是将两类分开的分界面，而H1与H2与H平行，H是其平分面，H1上的样本是第一类样本到H最近距离的点，H2的点则是第二类样本距H的最近点。HH1H2线性可分条件下的支持向量机最优分界面由于这两种样本点很特殊，处在间隔的边缘上，因此再附加一个圈表示。这些点称为支持向量，它们决定了这个间隔。HH1H2线性可分条件下的支持向量机最优分界面

3、从图上可以看出能把两类分开的分界面并不止H这一个，如果略改变H的方向，则根据H1、H2与H平行这一条件，H1、H2的方向也随之改变，这样一来，H1与H2之间的间隔(两条平行线的垂直距离)会发生改变。显然使H1与H2之间间隔最大的分界面H是最合理的选择，因此最大间隔准则就是支持向量机的最佳准则。从图上可以看出能把两类分开的分界面并不止H这一个，如果略改变H的方向，则根据H1、H2与H平行这一条件，H1、H2的方向也随之改变，这样一来，H1与H2之间的间隔(两条平行线的垂直距离)会发生改变。显然使H1与H2之间间隔最大

4、的分界面H是最合理的选择，因此最大间隔准则就是支持向量机的最佳准则。BestLinearSeparator?FindClosestPointsinConvexcdPlaneBisectClosestPointsdc支持向量机BestLinearSeparator:SupportingPlaneMethodMaximizedistanceBetweentwoparallelsupportingplanesDistance=“Margin”=支持向量机线性可分条件下的支持向量机最优分界面为了将这个准则具体化，需要用数

5、学式子表达。为了方便，将训练样本集表示成{xi,yi}，i=1，…，N，其中xi为d维向量也就是特征向量，而yi∈{-1，+1}，即用yi是+1或-1表示其类别。对于分界面H表示成(1)(2)线性可分条件下的支持向量机最优分界面显然H1平面到坐标原点的距离为故H1到H2的间隔为因此欲达到Vapnik提出的使间隔最大的准则，则应使

6、

7、w

8、

9、最小。必须遵守约束条件（2）线性可分条件下的支持向量机最优分界面因此欲达到Vapnik提出的使间隔最大的准则，则应使

10、

11、W

12、

13、最小。而H2则为故H1到H2的间隔为而下式是它必须遵守

14、的约束条件，可改写成大于零的不等式线性可分条件下的支持向量机最优分界面因此欲达到Vapnik提出的使间隔最大的准则，则应使

15、

16、w

17、

18、最小。对于这样一个带约束条件为不等式的条件极值问题，需要引用扩展的拉格朗日乘子理论，按这个理论构造拉格朗日函数的原则为：MinimizeSubjectto线性可分条件下的支持向量机最优分界面使目标函数为最小，减去用拉格朗日乘子(乘子值必须不小于0)与约束条件函数的乘积，在讨论的问题中可写成目标函数是二次函数，而约束条件中为线性函数，按拉格朗日理论该问题存在唯一解，根据研究扩展的拉格朗日

19、理论的Kuhn与Tucker等人的研究，表明以下是该唯一解的充分必要条件：(3)线性可分条件下的支持向量机最优分界面对于这样一个带约束条件为不等式的条件极值问题，为了求出最优解，拉格朗日理论中引入一种对偶函数：线性可分条件下的支持向量机最优分界面Maximize(4)Subjectto线性可分条件下的支持向量机最优分界面WhereDisanN×NmatrixsuchthatDij=yiyjxi·xj拉格朗日理论证明：满足上述条件时，找LD极大值的解就是LP式的条件极小值，因此由LD可求得各个最佳值。线性可分条件下的

20、支持向量机最优分界面bcanbedeterminedfromα*,whichisasolutionofthedualproblem,andfromtheKuhn-Tuckerconditions(5)线性可分条件下的支持向量机最优分界面Notethattheonlyαi*thatcanbenonzeroin(5)thoseforwhichtheconstra