支撑向量机的多类分类方法

《支撑向量机的多类分类方法》由会员上传分享，免费在线阅读，更多相关内容在行业资料-天天文库。

1、!""#年第!$卷第!"期微电子学与计算机!N1#$%&-(./0/12徐勋华王继成"同济大学计算机系!上海/"""1/$摘要!基于结构风险最小化原则的支撑向量机!3#B"具有良好的学习推广性#但是由于常规的3#B是从二类分类问题中推导出来的#在多类分类问题中就必须进行改进$文中讨论了支撑向量机的多类分类改进方法#运用在手写体数字识别中#并取得较好的结果$关键词!支撑向量机#多类分类#特征提取3420/56:LM1!789:;6%7<=56$&&&’($)&*!&&#+!"’!N1J"N#$%%&’()*

2、+(&’,-+./0*12&’,$3(/453-1153-11/2/+-(/&0OPOA-,;A%@QR*ST’,6;8-9"U8,%)4(8-4

3、9<<&98-8)%$’^%4’<-+]A4’4%5<)’9’-%$$=&85’9-8&V<)]’-%)=6$%55’V’6%4’<-@’4(A54]8’(,)<[8&;8-A58&’-(A$4’J6$%556$%55’V’6%4’<-+4;’5,%98&’56A55854;8(A$4’J6$%556$%55’V’6%4’<-]%58&<-5A,,<)4[864<)(%6;’-8@%-&%,,$’85’4’-4;8)’448-&’9’45)86<9-’4’<-+8*9:&’;1<3A,,<)4[86

4、4<)(%6;’-8@BA$4’J6$%556$%55’V’6%4’<-@‘8%4A)88_4)%64’<-!!"大二次规划的维数!增加了问题的复杂度%文中将#$%&’(’)*+#%,-’.等人早在/"世纪0"年代就分别讨论这两类方法!并介绍一个基于多类分类的开始研究有限样本情况下的机器学习问题!到了1"支撑向量机的手写体数字识别的例子%年代中!有限样本情况下的机器学习理论逐渐成熟起来!形成一个较完善的理论体系2统计学习理论"#$%&’()*+,>!?从最简单的情况开始!在线性可分的情况下!"34%4’5

5、4’6%$78%)-’-9:;8<)=简称37:#@在这个理论的基础上!人们发展出一种新的方法!那就是支撑用一个超平面将两类分开!各类样本到分类面的最向量机"3A,,<)4#864<)B%6;’-8简称3#B$%人们发小距离之和称为分类间隔%超平面的分离距离越大@现3#B在解决小样本!非线性及高维问题中表现它对新样本的正确分类能力也越高!推广性越好>/?+出许多的优势!并能够推广应用到其它的机器学习因而支撑向量机选择既能无错误分开两类样本!而问题中!因而!支撑向量机很快成为了研究的热点%且分类间隔最大的超

6、平面作为判决超平面%支撑向量机运用的是数学的方法!依据两类的设分离超平面!&"C#D"把样本集EF"$!%$G!$!’!类间距离最大化的准则求一个最优的超平面!将两&H正确分离!把超平面方程归一化!使对所有样本类样本分开%然而!在许多的情况下!要求的可能不满足%$F!&"$C’I!!!并且%D!类最近的样本处在超仅仅是把两类分开!而是要将多类样本分开!这时!平面(!(!&")’D!上!%DJ!类最近的样本处在超平传统的支撑向量机显然无法胜任!必须对支撑向量面(/(!&"C’DJ!!此时分类间隔是/K"!"

7、!最大化机进行改进!以实现多类分类的目的%对此人们做/K"!"即最小化!&!K/!所以最优分类超平面!&了很多研究!总的说来!可以分成两类!两类方法各"C’D"的!是以下凸二次规划的解2有优缺点%一种是将多类分类分解为多个二类分#!%(’-/!&!F!I类!分别求解!而后再按一定的方式重构起来成为$%多类分类的解!另一种是修改支撑向量机二次规划&*+,%-F!&"C#I!!@-D!@’&引进拉格朗日函数(的形式!一步求解出来!但是这种方法会大大地增&!收稿日期-!""N’"M’//.F!/’01ID!&!

8、J’3$>%$F!&"$C4IJ!?!3$!"F/I*-2!!>"微电子学与计算机!""#年第!$卷第!"期分别对!和"求偏微分并令它们等于"!可以分类判别函数4把原问题转化为它的对偶问题"####7-)8,!##-)8/",!&$($#-)$8#-)8/"#!$%!%#$%!&$&!!&$&’($(’()#$)’)’#%%$%!!$%!!’%!,!&$($.-)$!)8/"-A8$*+*&$""+$,!+$+#-.)$%!%