支持向量机多类分类算法的分析与设计

《支持向量机多类分类算法的分析与设计》由会员上传分享，免费在线阅读，更多相关内容在学术论文-天天文库。

1、摘要(AbS仃act)中文摘要支持向量机是上世纪九十年代提出的一种基于小样本的新的统计学习方法。支持向量机是机器学习领域若干标准技术的集成者，它集成了最大超平面、Mercer核、凸二次规划、稀疏解和松弛变量等多项技术，在若干挑战性的应用中，获得了较好的性能。由于其具有全局最优、结构简单、推广能力强等优点，近几年得到了广泛的研究并广泛应用于模式识别等领域。但是支持向量机最初是针对两类分类提出来的，如何将两类分类方法扩展到多类别分类是支持向量机研究的重点内容之一。本文从支持向量机的基本理论出发，针对分类问题着重讨论了以下几个方面的内容：(1)支

2、持向量机二分类算法的研究，对目前存在的多种支持向量机模型进行了研究分析，比较了他们的性能与应用的范围。(2)支持向量机多类分类算法的研究，首先总结了目前存在的基于支持向量机的多类分类方法，包括“一对多”方法、“一对一’’方法、一次性求解的方法、决策有向无环图方法、基于二叉树的支持向量机多类分类方法和其它几种方法，比较了他们的优缺点以及性能。同时本章中针对多类分类方法中的1．a．r(o∞．againSt-rest)方法存在由于训练样本之间的不均衡将对精度产生影响，不可识别区域等不足，提出了利用边界近邻最小二乘支持向量机来解决多类分类问题。有效

3、地解决了上述问题，实验结果表明该方法的有效性。(3)基于原型超平面支持向量机的研究。介绍了原型超平面支持向量机的产生，并针对其分类规则在某些情形会导致较差的分类结果，提出了在利用基于广义特征的最接近支持向量机(GEPSVM)产生一个主原型超平面的基础上，再利用主原型超平面及它类样本的信息构造一个次原型超平面，形成一个由主次原型超平面共同决策的最接近支持向量机。该方法不仅简单且易于实现，还具有较GEPSVM更优的分类性能。在UCI数据集上实验验证了它的有效性。(4)将基于主次原型超平面最接近支持向量机分类器与主分量分析结合，应用于人脸识别过程

4、，并与传统的最近邻分类器比较，实验证明了其效果优于传统的最近邻分类规则。关键词：机器学习，支持向量机，多类分类算法，原型超平面摘要(AbS仃act)ⅡAbStractSupportVcc缸machi北(SVM)isastalisticleanlj【ngmemodbaSedonlesss锄叩1esproposedillfecemyearS．SupportvectormacllineisVer)rSpecificcl嬲sofalgoritbmscklracterizedbytheuseof也emaxilllaImargiIlhyper-plaI

5、圮thet：heo巧ofkemels，t：heabsenceof10calminiIlla，也econvexopt血：Ii2ationthesparSerlessofthesolution，Mercer’stheoremaIldmec印aci够controlobtairledbyactingont：hemargin．Alargenmnberofexperim咄llaVeshownmatsupportvectormaCllillehausnot011lysimpler鲫nJcture，butalsobenerpe而nllance，especi

6、allyitSbe舵rgeneralizationabili吼ThesupportvectormacmnesapproaChw嬲origiIlallydeVelopedt0solVebinaryclaSsificationproblems．ButinmaIly丘elds，weneedt0solvemulti-cl弱scl嬲sificationproblems．Howt0effectivelyexte】1ditformulti—claSsclaSsi6cationisStillanon-goingresearchissue。hthispape

7、r，someproblemsofsupportvectorⅡ嫩h妇sa190rithInsareanalyzed．1)AnoVeⅣiewonaVariet)rofcl嬲sificationalgoriⅡmlsforsupportvectormachiIlesisgiven．Wbhavec痂edoniIl·d印也觚alysistothem弛y妊ndSofsupportvectormaclli：ncsalgorimms衄existedatpresent，锄ldcomparcdtheirpe矗10mlanceaIldrangeofapplicat

8、ion．2)SVMfor删mi·classproblemsisdiscussed．SeveralmethodShaVebeenproposedincluding”one-agaj