资源描述：
《线性规划支撑矢量机》由会员上传分享，免费在线阅读，更多相关内容在行业资料-天天文库。
1、第11期电子学报Vol.29No.112001年11月ACTAELECTRONICASINICANov.2001线性规划支撑矢量机周伟达,张莉,焦李成(西安电子科技大学雷达信号处理重点实验室,陕西西安710071)摘要:本文通过对统计学习理论中一些重要结论,特别是线性函数VC维数的分析,得到了一种线性规划支撑矢量机,包括线性规划线性支撑矢量机和线性规划非线性支撑矢量机.在线性规划支撑矢量机中,对其VC维数界作了适当的放宽.文中最后对人工和实际样本进行了实验,结果说明了线性规划支撑矢量机在
2、推广能力上较好地逼近了原支撑矢量机,而在计算复杂度上明显低于原支撑矢量机.关键词:统计学习理论;VC维数;支撑矢量机;推广能力;线性规划中图分类号:TP3914文献标识码:A文章编号:03722112(2001)11150705LinearProgrammingSupportVectorMachinesZHOUWeida,ZHANGLi,JIAOLicheng(NationalKeyLab.forRadarSignalProcessing,XidianUniversity,Xian,
3、Shanxi710071,China)Abstract:Basedonanalysisoftheconclusionsinthestatisticallearningtheory,especiallytheVCdimensionoflinearfunctions,linearprogrammingSVMsarepresented,includinglinearprogramminglinearandnonlinearSVMs.InlinearprogramminglinearSVMs,theboundoftheV
4、Cdimensionisloosenedproperly.SimulationresultsforbothartificialandrealdatashowthegeneralizationperformanceofourmethodisagoodapproximationofSVMsandthecomputationcomplexityislargelyreducedbyourmethod.Keywords:statisticallearningtheory;VCdimension;supportvectorma
5、chines;generalizationperformance;linearprogramming[4]1引言机引入结构风险如下:l由Vapnik等人发展的统计学习理论[1~3],通过引入结构12min%w%2+C∃&i(3)2风险实现对目标函数集的控制,从而使学习机在经验风险和i=1过拟合之间取一个折衷,获得了较好的推广能力.此基础上产约束于yi((w∃xi)+b)!1-i,i!0,i=1,∋,l,C为惩罚因生了一种优秀的机器学习模型支撑矢量机[2,4,5].目前该12子,可取一正常数.式(3)中第一项%
6、w%2为最大化边界,2领域因其较完善的理论和较好的实用性,已获得越来越广泛起假设空间容量控制作用,避免学习机的过拟合;第二项为最的关注.[4]小化经验风险.求此二次规划的Wolfe对偶,最终可得到下[3]在统计学习理论中,粗略地说!m边界∀分离超平面面的结果:就是以2倍的m间距分离样本的线性超平面,其VC维数有ll1如下的结论:样本x#X,位于半径为R的超球体内,则!mmaxW()=&i-2&ijyiyj(xi∃xj)(4)i=1i,j=1边界∀分离超平面函数集的VC维数有如下的上界:l22约束
7、于&iyi=0,i#[0,C],i=1,∋,l.通过在线性支撑矢hmin([R/m],n)+1(1)i=1其中n为样本的维数,[∃]为取小于等于该数的整数.由式(1)量机中引入核函数(xi∃xj)=K(xi∃xj)可生成非线性支撑矢[4]可以看出,当目标函数集的VC维数h的上界小于n时,它与量机.2分离边界m成反比,即在样本分布一定时,边界越大,目标支撑矢量机的求解为一线性约束凸二次规划,其计算的函数的VC维数h越小.这样对于!m边界∀分离超平面函数时间和空间复杂度均很大.本文从统计学习理论出发,提出了集
8、而言,最优目标函数f(x,w0,b0)可通过最小化经验风险和一种线性规划支撑矢量机,大大降低了求解的复杂度.最大化分离边界m来得到,这就是Vapnik在支撑矢量机中2线性规划模式识别支撑矢量机引入的结构风险:221线性规划线性模式识别支撑矢量机Rstructure()=C∃Remp()+1/m(2)[6]n其中C为两者之间的一个权
