欢迎来到天天文库
浏览记录
ID:34553586
大小:1.78 MB
页数:49页
时间:2019-03-07
《关于统计学习理论与支持向量机》由会员上传分享,免费在线阅读,更多相关内容在教育资源-天天文库。
1、自动化学报000105自动化学报ACTAAUTOMATICASINICA2000 Vol.26 No.1 P.32-42关于统计学习理论与支持向量机张学工摘要模式识别、函数拟合及概率密度估计等都属于基于数据学习的问题,现有方法的重要基础是传统的统计学,前提是有足够多样本,当样本数目有限时难以取得理想的效果.统计学习理论(SLT)是由Vapnik等人提出的一种小样本统计理论,着重研究在小样本情况下的统计规律及学习方法性质.SLT为机器学习问题建立了一个较好的理论框架,也发展了一种新的通用学习算法——支持向量机
2、(SVM),能够较好的解决小样本学习问题.目前,SLT和SVM已成为国际上机器学习领域新的研究热点.本文是一篇综述,旨在介绍SLT和SVM的基本思想、特点和研究发展现状,以引起国内学者的进一步关注.关键词统计学习理论,支持向量机,机器学习,模式识别.INTRODUCTIONTOSTATISTICALLEARNINGTHEORYANDSUPPORTVECTORMACHINESZHANGXuegong(Dept.ofAutomation,TsinghuaUniversity,Beijing100084)(Sta
3、teKeyLaboratoryofIntelligentTechnologyandSystemsofChina)AbstractData‧basedmachinelearningcoversawiderangeoftopicsfrompatternrecognitiontofunctionregressionanddensityestimation.Mostoftheexistingmethodsarebasedontraditionalstatistics,whichprovidesconclusiono
4、nlyforthesituationwheresamplesizeistendingtoinfinity.Sotheymaynotworkinpracticalcasesoflimitedsamples.StatisticalLearningTheoryorSLTisasmallsamplestatisticsbyVapnik‧etal.,‧whichconcernsmainlythestatisticprincipleswhensamplesarelimited,especiallytheproperti
5、esoflearningprocedureinsuchcases.SLTprovidesusanewframeworkforthegenerallearningproblem,andanovelpowerfullearningmethodcalledSupportVectorMachineorSVM,whichcansolvesmall‧samplelearningproblemsbetter.ItisbelievedthatthestudyofSLTandSVMisbecominganewhotareai
6、nthefieldofmachinelearning.ThisreviewintroducesthebasicideasofSLTandSVM,theirmajorcharacteristicsandsomecurrentresearchtrends.KeywordsStatisticallearningtheory,supportvectormachine,machinelearning,patternrecognition.1引言 基于数据的机器学习是现代智能技术中的重要方面,研究从观测数据(样本)出
7、发寻找规律,利用这些规律对未来数据或无法观测的数据进行预测.包括模式识别、神经网络等在内,现有机器学习方法共同的重要理论基础之一是统计学.传统统计学研究的是样本数目趋于无穷大时的渐近理论,现有学习方法也多是基于此假设.但在实际问题中,样本数往往是有限的,因此一些理论上很优秀的学习方法实际中表现却可能不尽人意. 与传统统计学相比,统计学习理论(StatisticalLearningTheory或SLT)是一种专门研究小样本情况下机器学习规律的理论.V.Vapnik等人从六、七十年代开始致力于此方面研究[1]
8、,到九十年代中期,随着其理论的不断发展和成熟,也由于神经网络等学习方法在理论上缺乏实质性进展,统计学习理论开始受到越来越广泛的重视[2,3]. 统计学习理论是建立在一套较坚实的理论基础之上的,为解决有限样本学习问题提供了一个统一的框架.它能将很多现有方法纳入其中,有望帮助解决许多原来难以解决的问题(比如神经网络结构选择问题、局部极小点问题等);同时,在这一理论基础上发展了一种新的通用学习方法——支持向量万方数据
此文档下载收益归作者所有