基于svm算法的分类器设计论文

《基于svm算法的分类器设计论文》由会员上传分享，免费在线阅读，更多相关内容在学术论文-天天文库。

1、基于SVM算法的分类器设计摇光（————————————）摘要：本篇论文介绍了SVM分类器的设计原理，基本思想，对于线性可分和线性不可分有具体的实验步骤和设计的原理基础，以及该分类器在现实中应用。对SVM算法的线性和非线性分类进行实验研究，其具体算法代码用Matlab代码来实现。实验结果表明，SVM将平面内具有线性可分的点，在平面内找到一个可以划分的分界线，对平面内的点进行划分，这些点分别位于分隔线的两侧。若平面内的点是线性不可分，则SVM会将平面内的点映射到到更高维度，在高维空间中找到划分所需要的分界线，然后再应用线性可分的情况的

2、方法进行分类。关键词：向量机；线性可分；线性不可分；最大间隔引言在现实中，我们会遇到一些分类的问题，比如，将平面上的点分为两类。如果，这个问题，对于在线性可分的情况下，我们可以直接用SVM算法对平面上的点进行划分，然而，并非所有的点都是线性可分的，那么，当我们遇到这样的问题时，我们又该怎么办呢？这就需要对特征空间进行降维，通过某种映射，我们可以将平台上的点映射到其他的空间，例如，球面或者其他立体区域。这样，我们可以很容易的在其他另外一个空间找到我们所需要得到“分界线”来将这些待分类的点进行划分。这基本上就是SVM分类器的设计原理和基

3、本思想。若待分类的点是线性不可分，SVM通常将将待分类的点映射到某些高维空间，在高维空间找到能将这些点划分的“超平面”，然后对待分类的点进行划分。1实验方案1.1实验目的以Matlab为实验的开发平台，使用Libsvm工具箱设计出一个SVM分类器，并用公共数据库中现存的数据集为训练样例和测试样例，采用最优的方法的参数训练出分类器，并且用设计出的SVM分类器进行测试。1.2分类标准的起源：logistic回归在对待分类点进行划分时，我们会得到一个二维平面，平面内有不同的点，如图1.1.1所示，这些点有红色的，也有绿色的，还有一条蓝色的

4、线。这条线可以看成是一个“分界线”也就是所谓的“超平面”。如何用这条蓝色的线将红色的点和绿色的点进行划分出来？平面内待分类的点用x表示，所要划分的类别用y表示，（这里y可以取1或者-1，分别代表两个不同的类别），本次SVM分类器设计的实目标是在平面内找到一个“分界线”也就是所谓的“超平面”，将平面内的点x进行分类。而这个超平面的方程可以表示为（ wT中的T代表转置）：wTx+b=0(这个1或-1的分类标准源于logistic回归)。 Logistic回归得目的是从特征学习出一个0/1的分类模型，而这个模型则是将特性的线性组合作为自变

5、量，因自变量的取值范围是从负无穷到正无穷。因此，使用logistic函数（或称作sigmoid函数）将自变量映射到(0,1)上，映射后的值被认为是属于y=1的概率。假设函数：其中x是n维特征向量，函数g就是logistic6函数。而的图像是图1.1g(z)函数图像可以看到，将无穷映射到了（0,1）。而假设函数就是特征属于y=1的概率。从而，当判别一个新来的特征属于哪个类时，只需要求，若>0.5则属于y=1的类，反之属于y=0类。另外，只与有关，若，>0，则，而g(z)只是用来映射，真实的类别决定权还是。再，当时，=1，反之=0。如果

6、我们只从出发，希望模型达到的目标就是让训练数据中y=1的特征，而是y=0的特征。Logistic回归就是要学习得到，使的正例的特征远远大于0，负例的特征远远小于0，并且要在全部训练实例上都达到这个目标。之后，尝试将logistic回归进行变形。首先，将使用过的结果标签y = 0和y = 1替换为y = -1,y = 1，然后，将（）中的替换为b，最后将替换为（即）。这样，则有了。就是说除了y由y=0变为y=-1外，线性分类函数跟logistic回归的形式化表示没有什么区别。进一步，还可以将假设函数中的g(z)做一个简化，将其映射到y

7、=-1和y=1上。得到的映射关系如下：1.3实验步骤1.3.1线性可分 对于一个给定的平面，（一个超平面，在二维空间就是一条直线），平面内有不同的点，如图1.1.1所示，这些点有红色的，也有绿色的，还有一条蓝色的线。这条线可以看成是一个“分界线”也就是所谓的“超平面”。如何用这条蓝色的线将红色的点和绿色的点进行划分出来？从图1.2.1可以看出，这条蓝颜色的线把红颜色的点和蓝颜色的点分开了。而这条蓝颜色的线就是我们所说的超平面。在这条蓝线两侧的数据点x所对应的y值一侧全为-1，另一侧全为1。我们可以用分类函数f(x)=wTx+b显然，

8、若f(x)=0，那5x是位于超平面上的点，设对于所有满足f(x)<0的点，其对应的y等于-1，而f(x)>0则对应y=1的数据点。图1.3.1线性可分其中w是法向量，它决定了超平面的方向；b是位移项，它决定了超平面到原点之间的距离。距