支持向量机原理及matlab实现.doc

《支持向量机原理及matlab实现.doc》由会员上传分享，免费在线阅读，更多相关内容在教育资源-天天文库。

1、1.IntroductionAbaloneAge.data数据有4177个样本，7个特征，其中rings作为预测标签，也就是年龄。对样本的一些统计数据如下表所示。NameDataTypeMeas.DescriptionLengthcontinuousmmLongestshellmeasurementDiametercontinuousmmperpendiculartolengthHeightcontinuousmmwithmeatinshellWholeweightcontinuousgramswholeabal

2、oneShuckedweightcontinuousgramsweightofmeatVisceraweightcontinuousgramsgutweight(afterbleeding)ShellweightcontinuousgramsafterbeingdriedRingsintegerStatisticsfornumericdomains:LengthDiamHeightWholeShuckeVisceraShellRingsMin0.0750.0550.0000.0020.0010.0010.0021

3、Max0.8150.6501.1302.8261.4880.7601.00529Mean0.5240.4080.1400.8290.3590.1810.2399.934SD0.1200.0990.0420.4900.2220.1100.1393.224Correl0.5570.5750.5570.5400.4210.5040.6281.02.AlgorithmDescription考虑到数据的可分性，对年龄的预测是一个回归问题，所以采用支持向量机对数据进行回归分析。一、支持向量机的基本原理支持向量机(SVM)是C

4、orinna和Vapnik于二十世纪末首先提出的。支持向量机方法Vapnik-Chervonenkis理论与构造风险最小理论为根底，使离超立体最接近的元素到超平面的间隔最大。通常超平面不止一个，也就是说支持向量机的目标就是最大化超平面之间的间隔，也就是建立最好的分类超平面，从而来提高学习分类机器的的泛化处理能力。该方法在解决高维小样本数据、数据的非线性以及解的局部极小点等多个问题中均展示出了很多独有的优点，并进而将其推行使用到了其余相联系的机器学习问题中。支持向量机方法早已被广泛的应用到了肿瘤数据分类等领域的问题

5、研究中。支持向量机的具体求解过程如下：(1)设已知样本训练集：其中，，为特征向量。(2)选择适当核函数以及参数，解决优化问题：得最优解：。(3)选取的正分量，计算样本分类阈值：。(4)构造最优判别函数：。支持向量机内积核核函数K的主要种类有：①线性内核函数②多项式核函数③高斯径向基核函数(RBF)④双曲正切核函数(Sigmoid核函数)一般地，用SVM做分类预测时必须调整相关参数(特别是惩罚参数和核函数参数)，这样才可以获得比较满意的预测分类精度，采用CrossValidation的思想可以获取最优的参数，并且有

6、效防止过学习和欠学习状态的产生，从而能够对于测试集合的预测得到较佳的精度。根据输入数据的线性可分性(线性可分或近似线性可分和线性不可分)，可以将支持向量机分为两大类：非线性支持向量机、线性支持向量机。(1)线性支持向量机若要介绍线性支持向量机，首先需要介绍下一个定义：线性分类器。A、B是两个不同的类别，需要在其中间加一个分类函数，这样就能够将A、B样本区分开，那么则说这个数据集是线性可分，其所对应的分类器便是线性分类器。对于二维空间，显然，分类函数可以看成是一条直线。同理，三维空间里分类函数就是一个平面，忽略空间

7、的维数，分类函数就可以统称为超平面。(2)非线性支持向量机从前一小节可以看出来，线性支持向量机是二类分类器。但是，在现实环境和问题中，往往要解决多类别的分类的问题。那么，怎么从二类分类器扩充到多类别分类器呢？就是一个值得思考探寻的方向。从二类分类器获取多类分类器的方法有很多，但在实际应用中，采用的较多的措施是通过寻找一个合适的非线性转换函数，进而能够使数据从原始的特征空间中映射到新的特征空间中，使得数据在新的特征空间中是线性可分的。但是，寻找这样的非线性转换函数很难，并且即使能找到，要实现这种非线性的转换也很麻烦

8、。因此，引入了核函数，它使得甚至可以不必知道变换函数，只要一种核函数满足Mereer定理，它就对应某一变换空间中的内积，然而内积的计算却容易的多。常用的核函数主要分为四类：核函数、核函数、核函数和核函数，不同的核函数对应不同的非线性变换函数，最后会形成不同的算法。这就使得相应的优化问题变成了凸二次规划问题，不会出现传统神经网络陷入局部极值的问题，这是SVM自提出后得到快速