基于支持向量机的分类研究

《基于支持向量机的分类研究》由会员上传分享，免费在线阅读，更多相关内容在工程资料-天天文库。

1、支持向量机在模式分类中的应用摘要：介绍了支持向量机的基木思想，依据是否引入核函数，是否具有惩罚因了，支持向量分类算法被分为线性分界面硬间隔、线性分界血•软间隔、非线性分界而硬间隔和非线性分界而软间隔四类，并讨论了它们的数学模型。以RBF为核函数的非线性支持向量机对2类2维样木进行的仿真分析，并与最近邻法分类结果进行了比较，结果表明支持向量机分类能力受核函数参数影响较人，当选取适当参数时，其分类性能与最近邻法相当。关键词：特征提取；最近邻分类法；支持向量机；模式分类TheApplicationofSupportVectorMachinesinPatternC

2、lassificationAbstract：Thefoundationsofsupportvectormachinesareintroduced・FourmathematicsmodelsofsupportvectorclassificationsincludinglinearlyhardmarginSVM,linearlysoftmarginSVM,non・linearlyhardmarginSVMandnon-linearlysoftmarginSVMarediscussed.Comparisonbetweennon-lincarlySVMclassi

3、ficationwithRBFkernelandnearestneighbourclassificationfora2-dimensionfeaturedatasetwhichcontainstwotypes.TheresultsshowthattheclassificationperformanceofSVMisaffectedbykernelfunctionparameter.theclassificationperformanceofSVMisequivalentwithnearestneighbourclassificationwhilekerne

4、lfunctionparameterisselectedappropriately.Keywords：featureabstract;nearestneighbourclassification;supportvectormachines;patternclassification1、引言在模式识别领域如何设计一种具有较好泛化能力的优良分类器一直以來是个备受关注的问题。传统的模式识别或人工神经网络方法都都是以人样本统计理论为基础的，而许多实际问题屮常常而对的是小样木。如何从小样木集出发，得到泛化能力较好的模型，是模式识别研究领域内的一个难点。Vapnik[

5、l]等人早在20世纪60年代就开始研究冇限样本情况下的机器学习问题，但这些研究长期没有得到充分的重视。近十年来，有限样本情况下的机器学习理论逐渐成熟起來，形成了一个较完善的统计学习理论(SLT)体系。而同时，神经网络等较新兴的机器学习方法的研究则遇到一些重要的困难，比如如何确定网络结构的问题、过拟合与欠拟合问题、局部极小点问题等。在这种情况下，试图从更木质上研究机器学习的SLT体系逐步得到重视。1992—1995年，在SLT的皋础上发展了支持向虽机(SVM)算法山，在解决小样本、非线性及高维模式识别问题中表现出许多特有的优势。尤其是在非线性支持向量机中通过

6、引入核函数，将原始空间的非线性问题转化为特征空间的线性问题來求解，而且核方法的引入从理论上较好的解决了经验风险最小化原则下统计学习的一致性条件，在这1些条件下关于统计学习方法泛化性的界，在这些界的基础上建立小样本归纳推理原则，以及在此原则下如何构造学习算法等统计学习的基础理论问题。2、支持向量机分类器的几种数学模型支持向量机最初思想是对于线性可分问题如何寻求最优分类面，对于特征空间中线性可分问题，最优分类面就是间隔了最人的分界面，根据上述核理论的分析可知，它的确是在保证样木被正确分类前提下，具有最好泛化能力的分界而。对于特征空间中线性不可分问题,可通过一个

7、惩罚因子來综合考虑间隔和松弛因子的彩响。根据面对的不同问题和采取的不同优化策略可将解决分类问题的支持向量机分为如下四类。2.1线性分界面硬间隔当在原始空间中分界而是线性的，即解决的问题是在原始空间中寻求最优分界而问题。该问题的数学模型是：min、如-/s.t.）〔.（〈w,x，〉+b）n“i=l,…，/H2=i其中了为间隔，0是训练样本数，X,是训练样本矢量，W是权矢量，b是阈值，X为样本1XECO.标记，）；・=代表第i类。-1兀G0）2构造拉格朗口函数，得到f厶（w,b,y,a,2）=—y—》％[x（〈w,xz）+/?）-/]+A（

8、

9、w

10、p-l）i

11、=l分别对gb,y求微分，得到es心心）=_工％=+2加=0db=