基于贝叶斯理论的支持向量机综述

《基于贝叶斯理论的支持向量机综述》由会员上传分享，免费在线阅读，更多相关内容在行业资料-天天文库。

1、万方数据第27卷第5期2010年5月计算机应用与软件ComputerApplicationsandSoftwareV01．27No．5Mav2010基于贝叶斯理论的支持向量机综述苏展1徐立霞21(解放军理工大学理学院江苏南京211101)2(南京财经大学经济学院统计系江苏南京210046)摘要支持向量机(SVM)以其坚实的理论基础，和在机器学习领域表现出的良好推广性能，获得了越来越广泛的关注。为更好地推进其发展，科研工作者们借鉴统计学中经典的贝叶斯理论，做了大量工作，例如：引进贝叶斯理论中先验知识、后验概率等概念，改进支持向量机中的判别

2、准则；或利用贝叶斯理论估计支持向量机中的参数埘、正规化参数以及核参数等。目前已取得不错的效果，使支持向量机理论更具有实用价值。关键词支持向量机贝叶斯理论先验概率后验概率REVIEWoNSUPPoRTVECToRM．ACHINEBASEDoNBAYES’THEoREMSuZhanlXiuLixia27(InstituteofScience，PLAUniversityofScienceandTechnology，Nanjing211101，Jiangsu，China)2(SchootofEconomics，NanjingUniversity

3、ofFinanceandEconomics，Nanjing210046，Jiangsu，China)AbstractSupportVectorMachines(SVMs)aregettinggrowingconcernsduetoitssoundfoundationoftheoriesaswell硒itspmferablepopularisingperformanceinthefieldofmachinelearning．Inordertofurtherpromoteitsdevelopment，alotofworkshavebeend

4、oingbythescientificandtechnologicalpersonnelreferringtoclaSsicalBayes’theoreminStatistics．Forexample，theconceptsofprioriknowledgeandposteriorpmbabihtyinBayes’theoremareintroducedtoimprovethejudgingcriteriononSVMs；orBayes’theoremisemployedtoestimatetheparameterW，normalisa

5、tionparameterandkernelparameterofSVMs，etc．，andallofthesehaveachievedquitesatisfyingeffect，whichmakestheSVMtheorymol-evaluableinpractice．Inthispaper，wearetoSUnllnarisetheworksdoneinthesealiaS．KeywordsSupportvectormachineBayes’theoremPriorprobabilityPosteriorprobability0引言

6、支持向量机方法”31是建立在统计学习理论Vc维理论和结构风险最小原理基础上的一种机器学习方法。对于已知两类训练集：T={(茏1，Y1)，(石l，Y2)，⋯，(z』，)，f)}∈(X×Y)‘(1)其中茗。EX=R4，Yi∈Y={1，一l}，i=1，2，⋯，2。寻找X=R“上的一个实值函数g(x)以便用决策函数八茗)=sgn(g(x))推断任一模式x相对应的Y值即类别，也即求解一个把彤上的点分成两部分的规则。其标准算法如下：设已知训练集如式(1)所示；选择核函数矗(茹，茹’)和惩罚参数c，构造并求解最优化问题：哑n寺荟；)，tyja,丐％(

7、Xi,薯)一；qf州．∑，，熙=00≤a．≤Ci=1“2一，o得最优解a‘=(口l‘，a2‘，⋯，af+)71。选择a’的一个小于c的正分量a，+，并据此计算：fb‘=五一∑Y。a。’％(菇i，巧)求得决策函数以石)=sgn(乏]Yid。’k(t，戈)+b‘)。t．=-J支持向量机方法的几个主要优点有：1)它是专门针对有限样本情况的，其目标是得到现有信息下的最优解而不仅仅是样本数趋于无穷大时的最优值；2)算法最终将转化成为一个二次型寻优问题，从理论上说，得到的将是全局最优点，解决了在神经网络方法中无法避免的局部极值问题；3)算法将实际问

8、题通过非线性变换转换到高维的特征空间(FeatureSpace)，在高维空间中构造线性判别函数来实现原空间中的非线性判别函数，特殊性质能保证机器有较好的推广能力，同时它巧妙地解决了维数问题，其算法复杂度与样