支持向量机的研究与应用李卓文宋金朋

《支持向量机的研究与应用李卓文宋金朋》由会员上传分享，免费在线阅读，更多相关内容在工程资料-天天文库。

1、支持向量机的研究与应用李卓文宋金朋新乡职业技术学院河南新乡473000摘要：支持向量机是一种新的机器学习方法，由于其出色的学习性能,该技术已成为当前国际机器学习界的研宄热点。对SVM训练算法的最新研宄成果进行了综述，着重说明了各种的算法的思路和优缺点。总结了支持向量机理论及其应用的现状，对支持向量机的未来发展方向进行了展望。关键词：支持向量机：训练算法；分类Abstract：SupportVectorMachinesareakindofnovelmachinelearningmethods,whichhavebecometheho

2、tspotofmachinelearningbecauseoftheirexcellentlearningperformance.ThispapermadeasummarizeofthenewprogressintheSVMtrainingofalgorithm,focusedontheideasofvariousalgorithms,pointedouttheadvantagesanddisadvantagesofthem.ThestatusquoofSVMtheoryanditsapplicationsaresummarize

3、dandthefuturedevelopmentdirectionofSVMtheoryisexpected.Keywords：Supportvectormachine；rainingalgrithm；categorizing；支持向量机(SupportVectorMachine,SVM)是Vapnik等1995年提出的一种基于统计学习理论［1］的模式识别方法。它在解决小样木、非线性和高维模式识别问题中只有特有的优势，且在某种程度上克服了维数灾难和过度学习等传统难题，另其具有坚实的理论基础、简明的数学模型，使得支持向量机自提出以来

4、受到广泛的关注，并取得了长足的发展。1支持向量机的训练算法(1)块算法与分解算法块算法(chunkingalgorithm)［2】最早是由Boser等人提出来的。它的出发点是删除矩阵中对应于Lagrange乘子为零的行和列不会对最终结果产生影响。对于给定的样木，块算法的目标就是通过某种迭代方式逐步排除非支持向量。块算法将矩阵的规模从训练样本数的平方减少到具有非零Lagrange乘子的样本数的平方，从而降低了训练过程对存储容量的要求。这种方法只要支持向量远远小于训练样本。但是，随着算法迭代次数的增多，训练样本集规模也会越来越大,算法

5、依旧会变得十分复杂。Osuna等人提出的分解算法(decompositional.gorithm)[3],是目前有效解决大规模问题的主要方法。主要思想是将训练样本分成工作集B和非工作集N：并保持大小不变。该算法的关键是如何最优的选取工作集B。Joachims利用SVMlight提高算法收敛速度，是0前设计SVM分类器的重要软件。除了分解算法，还冇Huber近似算法、多拉格朗日乘子协同优化算法

6、、剪枝算法等SVM的求解方法。(1)序贯最小优化算法由Platt提出的序列最小优化(sequentialmini—realoptimizat

7、ion,SMO)[4】算法是分解算法是针对工作集的个数为2的特殊情形，即SMO把一个大的优化问题分解成一系列只含两个变量的优化问题。两个变量的最优化问题可以解析求解，因而不需要迭代地求解二次规划问题。对分类SMO算法，Keerthi等人修正了优化条件，并针对经验方法提出两个改进措施，以保证算法收敛和减少迭代次数。随后Keerthi等人引提出了广义SMO(generalizedSMO,GSMO)算法，利用违反对的概念确定工作集，指出前面两种改进都是GSMO的特例，并证明，对任意的t>0以τ违反对为工作集，则GSMO算法有限终

8、止，得到优化问题的τ近似优化解.Lin对SMO算法的渐进收敛性进行了证明。(2)模糊支持向量机模糊支持向量机(FuzzySVM,FSVM)算法将模糊逻辑的方法与支持向量机的学4方法相结合，该算法给每个训练样本都赋与相应的模糊隶属度，这样不同的样本对决策函数的学有不同的贡献，可以降低噪声对最优超平面的影响。(1)粒度支持向量机[5]粒度支持向量机是Y.C.Tang提出的一种新的训练算法，其主要思想是通过粒划分来构建粒空间获得一系列信息粒，然后在每个信息粒上进行学AI，最后通过聚合信息粒上的信息(如数据、规则、知识、属性等)获

9、得最终的SVM决策函数。如何进行粒度划分是粒度支持向量机研究的主要问题。0前，主要奋基于关联规则的粒度支持向量机，利用聚类方法对训练样本集进行粒度划分的基于聚类的粒度支持向量机，基于商空间的粒度支持向量机的基本思想是首先对训练样本集进行粗粒度的选择