支持向量机理论发展与应用综述

《支持向量机理论发展与应用综述》由会员上传分享，免费在线阅读，更多相关内容在行业资料-天天文库。

1、第35卷第6期泰山学院学报Vol．35NO．62013年11月JOUＲNALOFTAISHANUNIVEＲSITYNov．2013支持向量机理论发展与应用综述123邵福波，董玉林，胡运红(1．北京交通大学轨道交通控制与安全国家重点实验室，北京100044;2．山东科技大学信息科学与工程学院，山东青岛266510;3．运城学院应用数学系，山西运城044000)［摘要］近几年，随着统计学习理论、优化理论的发展以及应用研究的深入，支持向量机算法成为数据挖掘领域的一个研究热点．本文介绍了支持向量机的背景、理论基础、研究方向及其应用研究

2、．［关键词］数据挖掘;支持向量机;优化理论与方法;统计学习理论［中图分类号］TP181［文献标识码］A［文章编号］1672－2590(2013)06－0078－041引言21世纪是信息时代，数据爆炸式增长，海量数据产生，如何从海量的数据中挖掘隐含在其中的有用知识或者规律是数据挖掘的一个任务．数据挖掘(DataMining)是数据库知识发现(Knowledge－Dis-coveryinDatabase，KDD)中的一个重要的步骤，就是从海量的数据中揭示出隐含的，事先未知的并有［1］潜在价值的信息的非平凡过程．［2］［3］［4］［

3、5］数据挖掘的方法很多，如人工神经网络算法、遗传算法、决策树算法、贝叶斯方法等．支持向量机算法是近几年新兴的一种方法，该算法以统计学习理论(StatisticalLearningTheory，［6－9］SLT)为基础，以结构风险最小化为准则建立挖掘模型，较好地解决了传统统计学习理论不能解决的非线性、高维数、局部极小点等问题，而且具有较好的推广能力．传统统计学所研究的是当样本趋于无穷多的极限性质，但实际生活中，样本是有限的，所以一些以传统统计学为基础的方法表现效果较差，统计学习理论(SLT)是一种研究小样本情况下学习规律的理论，

4、该理论被认为是目前针对小样本统计估计和预测学习的最佳理论．统计学习理论的核心内容是VC维，推广能力的界和结构风险最小化．VC维是描述函数集复杂性或者学习能力的一个极为重要的指标．VC维越大则学习机越复杂．推广能力是衡量模型应用广泛性的指标．结构风险最小化(Structur-alＲiskMinimization，SＲM)将函数集构造为嵌套的函数子集序列，子集按照VC维的大小排列，在每个子集中寻找最小经验风险，折衷考虑两个因素经验风险以及置信范围，从而实际的风险最小．系统研究统计学习理论(SLT)本质之后，Vapnik等提出了支持

5、向量机(SupportVectorMachine，［8－12］SVM)模型，在实际应用中，该算法表现出了良好的性能．支持向量机以统计学习理论基础，为研究样本有限情况下数据方法奠定基础;支持向量机模型是一个凸二次规划问题，得到的解是全局最优解，解决了在神经网络方法中无法避免的局部极值问题;对于非线性模型问题，通过非线性变换转换到高维特征空间，在高维空间构造线性判别函数来实现原空间中的非线性判别函数，巧妙地解决了维数灾难问题．［收稿日期］2013－10－27［基金项目］国家自然科学基金项目(11241005;71271022;71

6、271020)［作者简介］邵福波(1982－)，男，山东烟台人，北京交通大学轨道控制与安全国家重点实验室博士研究生．第6期邵福波等:支持向量机理论发展与应用综述792优化理论与支持向量机［12－13］支持向量机模型是一个凸二次优化问题，对于凸二次优化问题，可以求得其全局最优解．支持向量机算法最初是针对线性两分类问题，后来逐步应用到非线性、回归预测等问题中．具体问n题描述如下，{xi，yi}，i=1，2，…，m，xi∈Ｒ数据输入，yi∈{－1，+1}是类别标志，表示正类或者负类．支持向量机模型就是建立一个最优超平面，通过该平面将

7、数据正确的分离，分离的原则是训练错误率低，同时两类样本点到该超平面的距离之和最大，即分类距离最大．Tn设该超平面是ωx+b=0，其中ω∈Ｒ，b∈Ｒ，可得如下优化问题:1Tminωωs．t．yi((ω·xi)+b)1，i=1，2…，m(1)2［13］将问题(1)看做原问题，根据对偶理论，得如下对偶问题:1mmmmin∑∑yiyjaiaj(xi·xj)－∑ai2i=1j=1i=1ms．t．∑yiai=0，ai0，i=1，2，…，m(2)i=1其中αi为每个样本约束对应的Lagrange乘子，问题(2)是一个不等式约束下的二次函

8、数优化问题，****T*可得到全局最优解a=(a1，a2…，am)，解中不为零的ai对应的样本称为支持向量．得到m**ω=∑yiaixi(3)i=1m****选择最优解a中的一个正分量0＜ajC，分类阈值为b=yj－∑yiai(xi·xj)(4)i=1m**从而得到所求的分