资源描述：
《关于统计学习理论与支持向量机》由会员上传分享，免费在线阅读，更多相关内容在教育资源-天天文库。
1、第26卷 第1期自 动 化 学 报Vol126,No112000年1月ACTAAUTOMATICASINICAJan.,2000综述与评论1)关于统计学习理论与支持向量机张学工(清华大学自动化系,智能技术与系统国家重点实验室 北京 100084)摘 要 模式识别、函数拟合及概率密度估计等都属于基于数据学习的问题,现有方法的重要基础是传统的统计学,前提是有足够多样本,当样本数目有限时难以取得理想的效果.统计学习理论(SLT)是由Vapnik等人提出的一种小样本统计理论,着重研究在小样本情况下的统计规律及学习方法性质.SLT为机器学习问题建立了一个较好的理论框架,也发展了一种新的通用学习
2、算法——支持向量机(SVM),能够较好的解决小样本学习问题.目前,SLT和SVM已成为国际上机器学习领域新的研究热点.本文是一篇综述,旨在介绍SLT和SVM的基本思想、特点和研究发展现状,以引起国内学者的进一步关注.关键词 统计学习理论,支持向量机,机器学习,模式识别.INTRODUCTIONTOSTATISTICALLEARNINGTHEORYANDSUPPORTVECTORMACHINESZHANGXuegong(Dept.ofAutomation,TsinghuaUniversity,Beijing100084)(StateKeyLaboratoryofIntelligentT
3、echnologyandSystemsofChina)AbstractData2basedmachinelearningcoversawiderangeoftopicsfrompatternrecognitiontofunctionregressionanddensityestimation.Mostoftheexistingmethodsarebasedontraditionalstatistics,whichprovidesconclusiononlyforthesituationwheresamplesizeistendingtoinfinity.Sotheymaynotwor
4、kinpracticalcasesoflimitedsamples.StatisticalLearningTheoryorSLTisasmall2samplestatisticsbyVapniketal.,whichconcernsmainlythestatisticprincipleswhensam2plesarelimited,especiallythepropertiesoflearningprocedureinsuchcases.SLTprovidesusanewframeworkforthegenerallearningproblem,andanovelpowerfulle
5、arningmethodcalledSupportVectorMachineorSVM,whichcansolvesmall2samplelearningproblemsbetter.ItisbelievedthatthestudyofSLTandSVMisbecominganewhotareainthefieldofmachinelearning.ThisreviewintroducesthebasicideasofSLTandSVM,theirmajorcharacteristicsandsomecurrentresearch1)本文受到国家自然科学基金赞助,项目编号为69885
6、004.收稿日期 1998208224 收修改稿日期 1999204227©1995-2005TsinghuaTongfangOpticalDiscCo.,Ltd.Allrightsreserved.1期张学工:关于统计学习理论与支持向量机33trends.KeywordsStatisticallearningtheory,supportvectormachine,machinelearning,patternrecognition.1 引言基于数据的机器学习是现代智能技术中的重要方面,研究从观测数据(样本)出发寻找规律,利用这些规律对未来数据或无法观测的数据进行预测.包括模式识别、
7、神经网络等在内,现有机器学习方法共同的重要理论基础之一是统计学.传统统计学研究的是样本数目趋于无穷大时的渐近理论,现有学习方法也多是基于此假设.但在实际问题中,样本数往往是有限的,因此一些理论上很优秀的学习方法实际中表现却可能不尽人意.与传统统计学相比,统计学习理论(StatisticalLearningTheory或SLT)是一种专门研究小样本情况下机器学习规律的理论.V.Vapnik等人从六、七十年代开始致力于此方[1]面研究,到九十年代中期,随着其理
