支持向量机的实用指导

《支持向量机的实用指导》由会员上传分享，免费在线阅读，更多相关内容在工程资料-天天文库。

1、支持向暈机的实用指导1.介绍SVM是数据分类的一个有用的技术。虽然SVM被认为比神经网络简单，不熟悉的用户一开始很容易不习惯。在此我们给出梗概。注意本指导不是给SVM研究者的，也不保证能达到髙的准确率。同时，我们也不打算解决困难的问题。目的是为SVM初学者提供一个指导，让你很快运用并得到一个可接受的结果。虽然用户们不必知道SVM背后的潜在理论，我们相信有必要简要介绍下基础知识。一个分类器通常把数据分为训练集和测试集。每个训练集中的实例都有一个目标值（即classlabels）和若干属性（即特征和观察值）。SVM的冃的是创建一个模型（基

2、于训练集）來根据测试集的属性预测测试集的目标值。给定一个实例-标签对（xi,yi）的训练集，SVM要得到下列优化问题的解答：1T_Amin-ww+C〉&2幺subjecttos（wG（xt）+b）»1-⑴Table1:Problemcharacteristicsandperformancecomparisons.Applications#trainingdata#testingdata^features^classesAccuracybvusersAccuracybyourprocedureAstroparticle13,0894,0

3、004275.2%96.9%Bioinformatics2391o420336%85.2%Vehicle31,243412124.88%87.8%这里训练集向量Xi通过函数e被映射到一个更高的维度空间（也许是无限维）。SVM找出一个能最大程度分离这个空间的超平面。c>o是対错误的惩罚参数。此外K（xj.Xj）=被称作核函数。虽然新的核函数正不断地被提出，初学者可能在SVM的书中常常遇到下而4个基本的核函数：•线性：=x/xj.•多项式：A^x^xj）=（yx/xj+r）J,7>（）••径向基核函数（RBF）"（xjx；）=exp（-7

4、il

5、xi一xj

6、

7、2）,7>0•S型函数:A'(Xj

8、

9、x-y

10、

11、2•考虑径向基函数°•用交叉验

12、证找出最好的参数C和Y•用最好的参数C和Y训练整个训练集•测试在下血几段我们来详细讨论流程的细节。1.数据预处理2.1类别特征SVM要求每个数据实例被表示成实数的向量。因此，如杲有类别属性，我们先必须把它们转换成数字类型的数据。我们推荐用m个数字来表示有m个值得类别属性。只有一个数字是1,其他都是0。举例來说，一个有3中取值的属性比如｛红，绿，蓝｝可以被表示成(0,0,1),(0,1,0)和(1,0,0)。我们的经验告诉我们如果一个属性的取值数目不是很大，这种编码方式必用单个数字可能更稳定一些。2.2缩放在应用SVM前先缩放十分重要。

13、Part2ofSarle'sNeuralNetworksFAQSarle(1997)解释了缩放的重要性，其屮的大部分考量对SVM也是有效的。缩放的主要目的在于避免属性屮有较大取值范围的压过那些取值范围较小的属性。另一个作用是避免计算过程中的困难。因为核值通常依赖于特征向量的内积，比如线性核函数和多项式核函数，大属性值可能导致数字上的问题。我们推荐线性地把每个属性缩放到卜1,+］或［0,1］之间。当然我们必须用同样的方法同吋缩放训练集和测试集。比如：我们把训练集中的第一个实例从卜10,+10］缩放到卜1,+1］。如果测试集中的第一个实例

14、的范围是卜11,+8］,我们必须把测试集缩放到［・1.1,+0.8］。详见附录氏3模型选取虽然在Section1中只提到了4中常用的核函数，我们必须决定试哪个先。然后选定惩罚参数C和核参数。3.1RBF核（径向基函数）通常来说，RBF核函数是一个合理的第一选择。这个函数非线性地把样本映射到一个更高维度的空间，不像线性函数，它可以处理标签值和属性值是非线性的情况。此外，线性核是RBF的一个特例因为带惩罚参数C的线性核跟带参数（C,丫）的RBF核函数有同样的效果。还有，S型核函数跟特定参数的RBF核函数也有相同的表现。第二个理由是超参数的

15、数目也影响了模型的选择。多项式核函数比RBF核函数有更多的超参数。最后，RBF核两数在数学上因难少点。一个关键点在于当0