资源描述：
《支持向量机参数选择方法研究new》由会员上传分享，免费在线阅读，更多相关内容在教育资源-天天文库。
1、2004年8月系统工程与电子技术Aug.2004第26卷 第8期SystemsEngineeringandElectronicsVol.26No.8文章编号:10012506X(2004)0821117204支持向量机参数选择方法研究董春曦,饶 鲜,杨绍全,徐松涛(西安电子科技大学电子工程学院,陕西西安710071)摘 要:针对支持向量机的参数选择问题,提出了一种最优化选择方法。通过分析支持向量个数与留一法的关系以及支持向量机参数的几何意义和对推广能力的影响,该算法利用支持向量机比例来衡量参数选择时推广能力的变化,使用不同的规则更新核参数和惩罚因子,简化了参数选择的难度。理论分析
2、证明这种最小最大化参数选择方法可以选择支持向量机参数,仿真试验验证了该方法的有效性。关键词:支持向量机;推广能力估计;参数选择;最小最大化中图分类号:TP391文献标识码:AMethodforselectingtheparametersofsupportvectormachinesDONGChun2xi,RAOXian,YANGShao2quan,XUSong2tao(SchoolofElectronicEngineering,XidianUniversity,Xi’an710071,China)Abstract:Aminmaxmethodforselectingtheparam
3、etersofSVMispresented.Accordingtothegeometricmeaningsoftheparametersanditsinfluencestogeneralizationperformance,andtherelationsbetweenthenumberofsupportvectorsandleave2one2outmethod,themethodusestherationofsupportvectorstotrainingsamplesisappliedtoestimatethegeneralizationperformance,andupdat
4、esthekennelparameter(s)andpenaltyfactorrespectively.Itsfeasibilityandefficiencyareprovedtheoreticallyandexperimentally.Keywords:supportvectormachines;generalizationperformanceestimating;parametersselecting;minimaximize确定的分类规则1 引 言lf(x)=sgn∑αiK(xi,x)+b(1)支持向量机(supportvectormachines,SVM)是20世纪90
5、i=1年代由Vapnik等人提出的一种新的学习机[1],与神经网络、式中:xi———训练样本,x———待判决样本,b———门限,αi———对下面优化问题遗传算法、人工智能等现有的学习机相比,有较好的推广能l1力和非线性处理能力,尤其在处理高维数据时,有效地解决min(ω,ω)+C∑ξi,C≥0ω,ξ2i=1了“维数灾难”问题,在人脸检测、网页分类、数据融合、函数yi[(ω,x)+b]≥1-ξi,ξi≥0(2)[2]估计等领域得到了广泛应用。和其它学习算法一样,其性应用Lagrange乘子法得到的Wolfe对偶优化问题的最优解能依赖于学习机的参数,然而,到目前为止,还没有指导ll1
6、SVM参数选择的好方法。本文从SVM推广能力的估计入maxα∑αi-2∑αiαjyiyjK(xi,xj),0≤αi≤C(3)i=1i,j=1手,将SVM的参数选择归结为一个典型的优化问题,提出了式中:K(1)———满足Mercer条件的核函数,其作用是将原一种便于使用的简单方法,对UCI基准库的实验说明,这种特征空间(输入空间)映射到高维甚至无穷维空间(特征空方法简单易行,可以为SVM找到较好的参数。下面先简单间),然后在特征空间中寻找上述优化问题的最优解。常用介绍SVM及其推广能力,然后说明在此基础上使用最优化的核函数有方法寻找SVM参数,最后是在UCI基准库上的实验结果。线性
7、核(不作映射变换);d多项式核K(xi,xj)=[(xi,xj)+1],d为自由度;2 支持向量机2径向基核K(xi,xj)=exp(-γ
8、
9、xi-xj
10、
11、2),γ为形状参数;在两类模式识别问题中,给定训练数据{(xi,yi);xi∈Sigmoid核K(xi,xj)=S(v(xi,xj)+1),S(·)为Sigmoid函数NR;yi=±1;i=1,2,⋯,l},所谓的支持向量机是指由下式(4)收稿日期:2003-02-15;修回日期:2003-09-02。基金项目:国家重点实验室
