支持向量机参数选择方法分析

《支持向量机参数选择方法分析》由会员上传分享，免费在线阅读，更多相关内容在行业资料-天天文库。

1、"%福建电脑!""#年第$$期支持向量机参数选择方法分析邓小文!厦门大学自动化系福建厦门"#$%&’(!摘要"在分析支持向量机原理的基础上!分析了)*+中核函数"核参数及惩罚参数,的影响!介绍了三种)*+参数选择方法!并讨论了其优点和不足#!关键词"支持向量机$参数选择$最小最大化!引言此时的约束条件式%$#变为!%世纪&%年代!’(’)*+,-等人./0提出的统计学习理论)(.%N$/(#?10K$?$(%%%(M$=(=%#%O#"12)2,32,456)7+,+89:6;7<=159#是专门研究有限样情况下机器

2、寻优目标函数式%!#变为学习规律的理论!它指出学习机器的期望风!"!$和经验风险+!>6"#%!$有以下关系"%3#"$%2$2#?4’$(!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!%P#,M$!"!$!>6"#"!$?!"$$式%P#中的@为某个指定的常数!起到控制对错分样本惩罚%程度的作用!实现在错分样本的比例和算法复杂程度之间的)折基中是!"#学习机器的广义参数!$是反映学习机器学衷*&该问题可转化为其对偶问题.$0!习能力"复杂度$的参数!称为’@维!+表示训练样本的个数!%!"$&%

3、$被称为置信范围!它随:的增加而增加&可见!学习机器即+在’)(%(M%%#$的推广能力不但与经验风险有关!而且和学习机器的复杂性有(-$关&基于此!159提出了结构风险最小化原则"127A42A7)B>,3-和%!!(!4%(M$=!=(=%$%Q$的约束下求C,+,D,E)2,;+=1>C$和一种实现它的通用学习算法!即支持向量%%机F1A**;72’642;7C)4:,+6G=它是统计学习理论第一次对实际应/!R!IM’!(K’!(!6)()67%’($’6$%&$用产生重大影响&1’C基于统计学习理论的结构风

4、险最小化原(-/!(56-/则=将最大分界面分类器思想和基于核的方法结合在一起=表现的最大值&其中!若!(M%=样本’(称为非支持向量,若!(S%=’(称为出了很好的泛化能力&和其它学习算法一样=其性能依赖于学习支持向量,若!(M4=’(称为有界支持向量,若48!(S%!’(称为非有算法的参数=而1’C参数选择没有固定的方法!只能通过实验界支持向量&比较选择&因此!1’C的参数选择一直是一个研究的热点问题&求解出上述各系数!’N’1对应的最优解!$’2$’1$后!得本文介绍了近年来出现的几种参数选择方法!并作了比较深

5、入到最优分类函数为的分析&%9$%’$#%T#"支持向量机%’#M38+.’!()(($’#?1(-/1’C是从线性可分情况下的最优分类面发展而来的!基本以上是对线性问题的解决方法&对于非线性问题!可通过一思想可用图$的两维情况说明.!0&图中=圆点和十字点分别代表个变换!+:;(<映射到一个高维线性特征空间U!转化为某个两类样本=H为分类线=H$’H!分别为过各类中离分类线最近的高维空间中的线性问题!在变换空间求最优分类面&在上面的对样本且平行于分类线的直线=它们之间的距离叫做分类间隔偶问题中!不论是寻优目标函数式

6、%&#还是分类函数式%T#都只FD)78,+I&所谓最优分类线就是要求分类线不但能将两类样本正涉及训练样本之间的内积运算%’($’6#&这样!在高维空间实际确分开F训练错误率为%I=而且使分类间隔最大&上只需进行内积运算!而这种内积运算可以用原空间中的核函数实现&根据泛函的有关理论.!0!只要核函数=%’!’#满足C67467(6条件!它就对应某一变换空间中的内积&因此!在最优分类面中用适当的内积核函数=%’(!’6#就可以实现从低维空间向高维空间的映射!从而实现某一非线性变换后的线性分类!而计算复杂度却没有增加&此

7、时的寻优目标函式%&#变为%%/!F!IM’!(K’!(!6)()67%’(!’6#%V#(>/!(?6-/而相应的分类函数式%T#也变为设有+个样本’及其所属类别)!表示为%’!)#!*"+,!((((%)("J!!K!L%(-/!(((=%#9%’#M38+.’!$)=%’!’#?@$#%$%#(((超平面.$/01M%方程!能将两类样本正确区分!并使分(-$类间隔最大的优化问题可表示为在常用的核函数有+)(.%N$/(#?10K$%%%(M$=(=%#%$#多项式核函数=,%,M$!!!(#%$$#的约束下求%

8、’?)#-%’$)0$#!!$径向基核函数"%.#"&2&M%2$2#%!#!#!=%’?)#-6W*%A&&’(A’6&#%$!#的最小值&1,8D;,X核函数考虑到可能存在一些样本不能被正确分类!为了保证分类=%’?)#-2)+:%@%’$)#AB#%$O#的正确性!引入松弛因子#核函数作用及核参数的影响#(%%%(M$!(!%#核函数!映