支持向量机理论与算法研究综述

《支持向量机理论与算法研究综述》由会员上传分享，免费在线阅读，更多相关内容在行业资料-天天文库。

1、第40卷第1期电子科技大学学报Vol.40No.12011年1月JournalofUniversityofElectronicScienceandTechnologyofChinaJan.2011·复杂性科学·支持向量机理论与算法研究综述1,213丁世飞，齐丙娟，谭红艳(1.中国矿业大学计算机科学与技术学院江苏徐州221116;2.中国科学院计算技术研究所智能信息处理重点实验室北京海淀区100080;3.中国科学院声学研究所高性能网络实验室北京海淀区100190)【摘要】统计学习理论(statisticallearningtheory，SLT)是一种小样本统计理

2、论，着重研究在小样本情况下的统计规律及学习方法性质。支持向量机(supportvectormachinse,SVM)是一种基于SLT的新型的机器学习方法，由于其出色的学习性能，已经成为当前机器学习界的研究热点。该文系统介绍了支持向量机的理论基础，综述了传统支持向量机的主流训练算法以及一些新型的学习模型和算法，最后指出了支持向量机的研究方向与发展前景。关键词FSVM;GSVM;统计学习理论;支持向量机;训练算法;TSVMs中图分类号TP181文献标识码Adoi:10.3969/j.issn.1001-0548.2011.01.001AnOverviewonTheo

3、ryandAlgorithmofSupportVectorMachines1,213DINGShi-fei,QIBing-juan,andTANHong-yan(1.SchoolofComputerScienceandTechnology,ChinaUniversityofMiningandTechnologyXuzhouJiangsu221116;2.KeyLaboratoryofIntelligentInformationProcessing,InstituteofComputingTechnology,ChineseAcademyofScienceHaid

4、ianBeijing100080;3.HighPerformanceNetworkLaboratory,InstituteofAcoustic,ChineseAcademyofScienceHaidianBeijing100190)AbstractStatisticallearningtheoryisthestatisticaltheoryofsmallsample,anditfocusesonthestatisticallawandthenatureoflearningofsmallsamples.Supportvectormachineisanewmachi

5、nelearningmethodbasedonstatisticallearningtheory,andithasbecometheresearchfieldofmachinelearningbecauseofitsexcellentperformance.Thispaperdescribesthetheoreticalbasisofsupportvectormachines(SVM)systematically,sumsupthemainstreammachinetrainingalgorithmsoftraditionalSVMandsomenewlearn

6、ingmodelsandalgorithmsdetailedly,andfinallypointsouttheresearchanddevelopmentprospectsofsupportvectormachine.Keywordsfuzzysupportvectormachines;granularsupportvectormachines;statisticallearningtheory;supportvectormachines;trainingalgorithm;twinsupportvectormachines[1-2]支持向量机(supportv

7、ectormachines，SVM)题，利用牛顿法、内点法等成熟的经典最优化算法[3-4]是建立在统计学习理论VC维理论和结构风险最便能够很好地求解。但是当训练集规模很大时，就小化原理基础上的机器学习方法。它在解决小样本、会出现训练速度慢、算法复杂、效率低下等问题。非线性和高维模式识别问题中表现出许多特有的优目前一些主流的训练算法都是将原有大规模的QP势，并在很大程度上克服了“维数灾难”和“过学问题分解成一系列小的QP问题，按照某种迭代策习”等问题。此外，它具有坚实的理论基础，简单略，反复求解小的QP问题，构造出原有大规模的QP明了的数学模型，因此，在模式识别、

8、回归分析、问题的近似解，