模糊支持向量机.ppt

《模糊支持向量机.ppt》由会员上传分享，免费在线阅读，更多相关内容在行业资料-天天文库。

1、模糊支持向量机的分类研究华东师范大学地理系支持向量机概述支持向量机理论基础支持向量机模糊支持向量机应用研究主要内容支持向量机(SupportVectorMachine，简称SVM)是一种基于统计学习理论的模式识别方法，它是由Boser,Guyon,Vapnik在COLT-92上首次提出。COLT(ComputationalLearningTheory)支持向量机概述支持向量机是九十年代中期发展起来的一类新型机器学习方法。它在很多领域都得到了成功的应用，如人脸检测、手写体数字识别、文本自动分类等。它结构简单，且具有全局最优性和较好的泛化能力，支持向量机方法是求解模式识别和分类问题的有效

2、工具。支持向量机概述近年来SVM方法已经在图像识别、信号处理和基因图谱识别等方面得到了成功的应用,显示了它的优势。SVM通过核函数实现到高维空间的非线性映射,所以适合于解决本质上非线性的分类、回归和密度函数估计等问题。支持向量方法也为样本分析、因子筛选、信息压缩、知识挖掘和数据修复等提供了新工具。支持向量机概述SVM正在成为继神经网络研究之后新的研究热点，并将有力地推动机器学习理论和技术的发展，是一项很有发展前途的技术。目前，国际上支持向量机在理论研究和实际应用两方面都正处于飞速发展阶段，而我国国内在此领域的研究尚未成熟，因此我们需要及时学习掌握有关理论，开展有效的研究工作，使我们在

3、这一有着重要意义的领域中能够尽快赶上国际先进水平。支持向量机概述线性判别函数和判别面一个线性判别函数(discriminantfunction)是指由x的各个分量的线性组合而成的函数两类情况:对于两类问题的决策规则为如果g(x)>0，则判定x属于C1，如果g(x)<0，则判定x属于C2，如果g(x)=0，则可以将x任意分到某一类或者拒绝判定。支持向量机理论基础线性判别函数下图表示一个简单的线性分类器，具有d个输入的单元，每个对应一个输入向量在各维上的分量值。该图类似于一个神经元。支持向量机理论基础超平面方程g(x)=0定义了一个判定面，它把归类于C1的点与归类于C2的点分开来。当g(

4、x)是线性函数时，这个平面被称为“超平面”(hyperplane)。当x1和x2都在判定面上时，这表明w和超平面上任意向量正交，并称w为超平面的法向量。注意到：x1-x2表示超平面上的一个向量支持向量机理论基础总之：线性判别函数利用一个超平面把特征空间分隔成两个区域。超平面的方向由法向量w确定，它的位置由阈值w0确定。判别函数g(x)正比于x点到超平面的代数距离（带正负号）。当x点在超平面的正侧时，g(x)>0；当x点在超平面的负侧时，g(x)<0支持向量机理论基础多类的情况利用线性判别函数设计多类分类器有多种方法。例如：可以把k类问题转化为k个两类问题，其中第i个问题是用线性判别函

5、数把属于Ci类与不属于Ci类的点分开；更复杂一点的方法是用k(k-1)/2个线性判别函数，把样本分为k个类别，每个线性判别函数只对其中的两个类别分类。支持向量机理论基础广义线性判别函数：在一维空间中，没有任何一个线性函数能解决下述划分问题（黑红各代表一类数据），可见线性判别函数有一定的局限性。支持向量机理论基础如果建立一个二次判别函数g(x)=(x-a)(x-b)，则可以很好地解决上述分类问题。决策规则仍是：如果g(x)>0，则判定x属于C1，如果g(x)<0，则判定x属于C2，如果g(x)=0，则可以将x任意分到某一类或者拒绝判定。广义线性判别函数支持向量机理论基础广义线性判别函数

6、支持向量机理论基础广义线性判别函数支持向量机理论基础设计线性分类器支持向量机理论基础核函数的选择支持向量机最优分类面SVM是从线性可分情况下的最优分类面发展而来的,基本思想可用图2的两维情况说明。图中,方形点和圆形点代表两类样本,H为分类线,H1,H2分别为过各类中离分类线最近的样本且平行于分类线的直线,它们之间的距离叫做分类间隔(margin)。所谓最优分类线就是要求分类线不但能将两类正确分开(训练错误率为0),而且使分类间隔最大.推广到高维空间，最优分类线就变为最优分类面。支持向量机理论基础支持向量机小结：SVM从线性可分情况下的最优分类面发展而来。最优分类面就是要求分类线不但能

7、将两类正确分开(训练错误率为0),且使分类间隔最大。SVM考虑寻找一个满足分类要求的超平面,并且使训练集中的点距离分类面尽可能的远,也就是寻找一个分类面使它两侧的空白区域(margin)最大。过两类样本中离分类面最近的点且平行于最优分类面的超平面上H1,H2的训练样本就叫做支持向量。SVM方法的特点①非线性映射是SVM方法的理论基础,SVM利用内积核函数代替向高维空间的非线性映射；②对特征空间划分的最优超平面是SVM的目标,最大化分类边际的思想是SVM方法