资源描述：
《支持向量机研究》由会员上传分享，免费在线阅读，更多相关内容在行业资料-天天文库。
1、支持向量机研究崔伟东清华大学电子工程系北京周志华南京大学计算机软件新技术国家重点实验室南京李星清华大学电子工程系北京,由出色的学,摘要支持向量机是一失新型机器学习方法于其习性能该技术已成为当前国际机器学习界的研究热。,,,点该文首先引入最优超平面的概念然后对线性和非线性进行介绍给出一些常用的训练算法并指出存在。的局限和将来可能的研究内容、习统计学习理论关键词支持向量机模式识别机器学址、加,,《奋肠叮盯,雌,咧刀加,,口毋,可此,,,,铭印恤毗,,,滋玩,日玩叮引言印,司一,。再假设该训练集可被一个超平面线性划分,该超·。支持向量机,简称是平面记为动·
2、,〕提出的一类新型机器学。由于其出色的如果训练集中的所有向量均能被某超平面正确划分并且等人习方法,学习性能,该技术,并在很多领距超平面最近的异类向量之间的距离最大即边缘最大化则已成为机器学习界的研究热点,。域都得到了成功的应用,如人脸检测伙手写体数字识别、文本该超平面为最优超平面如图所示其中距离超平面最近的。周。异类向量被称为支持向量一组支持向量可自动分类等。是一种基于统计的学,以唯一地确定一个超平面习方法它是对结构化风险最小化归纳原则而的近似,其理论基础是统计学习理沦。为了最小化期望风险的上界,在固定学习机经验风险的条件下最小化置信度。关于统计学习
3、理论与维的有关内容在该文作者的另一篇文章中网,,此助巴已有详细的介绍限于篇幅这里就不再赘述比了。该文首先引人最优超平面的概念,在此基础上对线性‘卿·。,和非线性进行介绍并给出目前常用的一些。。。。、二,匕训练算法最后指出存在的局限和将来可能的研究方。向图线性二类划分的最优超平面最优超平面对于线性可分的问题,不失一般性,可假定训练集中的向,,,,,⋯,,,其中。量满足设给定的勺练集为‘该文受自然科学基金资助,项目号。计算机工程与应用··,,十,。之⋯即可判定所属的分类由于支持向量与超平面之间的距离为“,支持向量之在处理线性不可分问题时,情况变得复杂起来
4、,因为此时,。间的距离为““因此构造最优超平面的问题就转化为在式式中目标函数的最大值将为无穷大为解决这个问的约束下求下式的最小值题,引人非负的松弛变量赶,将式放宽为中·全一奄毛之,⋯,,,。,工七是训练集中对一个规范超平面子集来说其维满足不等式显然当划分出现错误时七大于零因此,。‘习划分错误的向量数的上界引人错误惩罚分量之后式变为,其中为向量空间的维数为覆盖所有向量的超球体半中,七艺七,径,‘,。,二由式可知可以通过最小化使置信度最小其中为可调参数越大对错误的惩罚越重,与处理线性,如果固定经验风险最小化期望风险的问题就转化为最小化可分问题时相同构造最
5、优超平面的问题可以。。转化,这是一个二次规划问的问题这就是方法的出发点为在式的约束下最小化式巧,题,其证明如果训练集中的向量能被最优超平面完全最优解为下列肠函数的鞍点,,划分则在测试未知样本时的最大出错概率即支持向量机期,,。’一一一,协‘,省,,‘,落‘二,‘乞,万“了、心‘︸产、子望风险的上界为支持矢量的个数由一定理可知,最优解满足‘州一训练矢量的个数。不下二七一一卜佗·线性一七二,由上节讨论可知在线性可分情况下构造最优超平面的问,林,毛七,题可以转化为在式的约束下最小化式这是一个二次规,林毛,划问题其最优解为下列函数的鞍点于是,构建最优超平面的
6、问题就转化为一个较简单的二次,,’一,、一,,。,,,,,‘二,,,规划问题即在式和的约束下最大化式合苦‘‘,⋯,。,其中为非负肠乘数值得注意的是式是一由式和可知,如果,则氛为零。于是只需选择,。,个凸二次规划问题存在唯一的最优解在鞍点处由于和满足,即可通过式求出。的梯度为零,可得、,,非线性艺二非线性的基本思想是通过事先确定的非线性映射,。,将输人向量映射到一个高维特征空间空间中然后艺二在此高维空间中构建最优超平面,一由定理可知最优解满足从上一节对线性的讨论中可以看出,向量之间只进·一行点积运算。因此,如果采用核函数,就可以,,显然只有支持向量的系
7、数才可能为非零值即只有支避免在高维特征空间中进行复杂的运算。该过程可以表述如。持向量影响最终的划分结果于是可表示为下首先将输人向量通过映射电一映射到高维艺。空间中设核函数满足阮即协花,·将式、代人中,构建最优超平面的问题就转化为劝中〕小一个较简单的二次规划问题,即在式和的约束下,最则二次规划问题的目标函数变为。·大化式二。。小中、艺冬艺二,,,乙仪之⋯二一,。司艺若告耳在训练完成之后,只需计算下列函数的符号即可。一、‘,气各省耳。,冲加中。,艺艺。二,,,,若尹尹⋯,为该问题的一个解则的甄范即伪数可表示为通常,不需显式地知道小和,只需选择合适的核函数
8、。网·,。沉、动就可以确定一个支持向量机定理给出了核函数满艺足式的充要条件对任意满足式的,函数式即邝。于是,
