资源描述：
《支撑矢量机推广能力分析》由会员上传分享，免费在线阅读，更多相关内容在行业资料-天天文库。
1、第5期电 子 学 报Vol.29No.52001年5月ACTAELECTRONICASINICAMay2001支撑矢量机推广能力分析周伟达,张 莉,焦李成(西安电子科技大学雷达信号处理重点实验室,西安710071) 摘 要:本文针对两种不同用途的支撑矢量机,分类支撑矢量机和回归支撑矢量机,分别证明了它们的一些几何性质,从这些性质出发讨论了这两种支撑矢量机对新增样本的推广能力,新增样本对支撑矢量,非支撑矢量的影响以及新增样本本身的一些特点,得到了一些非常有价值的结论.从这些结论可以看出支撑矢量机对新增样本具有良好的推广能力,即对新增样本的
2、良好的包容性和适应性,并且支撑矢量机是一种可积累的学习模型.关键词:分类支撑矢量机;回归支撑矢量机;学习机;KKT条件;可积累性中图分类号:O2315文献标识码:A文章编号:037222112(2001)0520590205AnAnalysisofSVMsGeneralizationPerformanceZHOUWei2da,ZHANGLi,JIAOLi2cheng(NationalKeyLab.forRadarSignalProcessing,XidianUniversity,Xi’an710071,China)Abstract:Somege
3、ometryofSupportVectorMachinesforclassificationandregressionisdescribedandproven.AndthenthegeneralizationperformanceofSVMsonnewly2addedsamplesisdiscussed.Throughtheanalysisofthepropertyofnewly2addedsamplesandtheeffectofthemonsupportvectorsandnon2supportvectors,somevaluableres
4、ultsarepresented.TheseenableustoconcludethatSVMhasagoodcompatibility,adaptabilityandgeneralizationperformancefornewly2addedsamplesandisahereditablelearningmodel.Keywords:supportvectorclassification;supportvectorregression;learningmachines;KKTconditions;hereditability1 引言机后,又
5、出现了一些已知输出结果的样本,这些训练样本需要 自1970年以来,Vapnik等人发展了一种新的学习机———原支撑矢量机来进一步学习.新增训练样本对于实际问题是支撑矢量机.与现有的学习机包括神经网络,模糊学习机,遗非常常见而且是非常合理的,实际中样本的采集都是一步一传算法,人工智能等相比,它具有许多的优点[1～4]:坚实的理步而来,知识也都是逐步积累.这样一个非常符合常理的问论基础[5]和较好的推广能力,强大的非线性处理能力和高维题,在现在的大部分的学习机中仍得不到合理解决,许多学习处理能力.现在支撑矢量机快速算法有Chunking算法[7]
6、,Os2机对于这一问题几乎无能为力,仅仅是把新样本加进来,重新una算法[8],SMO算法[9],针对不同的应用有分类支撑矢量开始进行训练.这其中的浪费是显而易见的,它们完全抛弃了机,回归支撑矢量机等.但是支撑矢量机最突出的优势还在于已有的知识,这是有悖于常理的.那么支撑矢量机对于这种新它强大的推广能力,它能在训练样本较少的情况下得到较好增的训练样本的推广能力如何?它如何来处理这些新增的训的效果.练样本?它能否完成这种可积累性的学习?已经成为大家非关于支撑矢量机的推广能力,尤其是针对小样本训练的常关注的问题,同时它又是支撑矢量机应用的基础.本文
7、围绕推广能力,Vapnik等人已作了详细的分析[1,5].他们对于支撑着这一问题进行了研究,得到了一些有价值的结果.矢量机推广能力的讨论都是围绕着这样一个问题,即先验知2 分类支撑矢量机识不够,训练样本缺乏,在这种情况下训练的支撑矢量机用于 对于分类问题,支撑矢量机把分类边界最大最终归结为实际分类和回归分析时性能如何?但实际情况中推广能力还如下凸半正定二次规划问题:ll应包括另一方面的问题.上面的这种推广能力的分析实际上1maxW(α)=∑αi-2∑ααijyiyjK(xi·xj)(1)是相当于对新增测试样本的分析,而没有涉及对新增训练样i=
8、1i,j=1l本的分析.这儿所谓的新增测试样本实际上是指训练好的支s.t.∑αiyi=0(2)撑矢量机后实际中新出现的样本,对于这些样本预先是不知i=
