SVM分类器的原理及应用.doc

《SVM分类器的原理及应用.doc》由会员上传分享，免费在线阅读，更多相关内容在教育资源-天天文库。

1、SVM分类器的原理及应用姓名：苏刚学号：学院：数学与计算机学院一、SVM分类器的原理SVM法即支持向量机(SupportVectorMachine)法，由Vapnik等人于1995年提出，具有相对优良的性能指标。该方法是建立在统计学习理论基础上的机器学习方法。通过学习算法，SVM可以自动寻找出那些对分类有较好区分能力的支持向量，由此构造出的分类器可以最大化类与类的间隔，因而有较好的适应能力和较高的分准率。该方法只需要由各类域的边界样本的类别来决定最后的分类结果。支持向量机算法的目的在于寻找一个超平面H(d),该超平面

2、可以将训练集中的数据分开，且与类域边界的沿垂直于该超平面方向的距离最大，故SVM法亦被称为最大边缘(maximummargin)算法。待分样本集中的大部分样本不是支持向量，移去或者减少这些样本对分类结果没有影响，SVM法对小样本情况下的自动分类有着较好的分类结果.SVM方法是通过一个非线性映射p，把样本空间映射到一个高维乃至无穷维的特征空间中（Hilbert空间），使得在原来的样本空间中非线性可分的问题转化为在特征空间中的线性可分的问题。简单地说，就是升维和线性化。升维，就是把样本向高维空间做映射，一般情况下这会增加

3、计算的复杂性，甚至会引起“维数灾难”，因而人们很少问津。但是作为分类、回归等问题来说，很可能在低维样本空间无法线性处理的样本集，在高维特征空间中却可以通过一个线性超平面实现线性划分（或回归）。一般的升维都会带来计算的复杂化，SVM方法巧妙地解决了这个难题：应用核函数的展开定理，就不需要知道非线性映射的显式表达式；由于是在高维特征空间中建立线性学习机，所以与线性模型相比，不但几乎不增加计算的复杂性，而且在某种程度上避免了“维数灾难”。这一切要归功于核函数的展开和计算理论。选择不同的核函数，可以生成不同的SVM，常用的核

4、函数有以下4种：⑴线性核函数K(x,y)=x·y；⑵多项式核函数K(x,y)=[(x·y)+1]^d；⑶径向基函数K(x,y)=exp(-

5、x-y

6、^2/d^2）；⑷二层神经网络核函数K(x,y)=tanh(a(x·y)+b）；二、SVM分类器的应用2.1人脸检测、验证和识别Osuna最早将SVM应用于人脸检测，并取得了较好的效果。其方法是直接训练非线性SVM分类器完成人脸与非人脸的误率降低到1.67%，明显优于在传统方法中效果最好的人工神经元网络方法。在人脸识别中，面部特征的提取和识别可看作是对3D物体的2D投影图

7、像进行匹配的问题。由于许多不确定性因素的影响，特征的选取与识别就成为一个难点。有关学者分别提出基于PCA与SVM相结合的人脸识别算法，充分利用了PCA在特征提取方面的有效性以及SVM在处理小样本问题和泛化能力强等方面的优势，通过SVM与最近邻距离分类器相结合，使得所提出的算法具有比传统最近邻分类器和BP网络分类器更高的识别率。还有的科研人员在PCA基础上进一步做ICA，提取更加有利于分类的面部特征的主要独立成分；然后采用分阶段淘汰的支持向量机分类机制进行识别。对两组人脸图像库的测试结果表明，基于SVM的方法在识别率和

8、识别时间等方面都取得了较好的效果。2.2说话人语音识别说话人识别属于连续输入信号的分类问题，SVM是一个很好的分类器，但不适合处理连续输入样本。为此，有的科研人员等引入隐式马尔可夫模型HMM，建立了SVM和HMM的混合模型。HMM适合处理连续信号，而SVM适合于分类问题；HMM的结果反映了同类样本的相似度，而SVM的输出结果则体现了异类样本间的差异。为了方便与HMM组成混合模型，首先将SVM的输出形式改为概率输出。实验中使用YOHO数据库，特征提取采用12阶的线性预测系数分析及其微分，组成24维的特征向量。实验表明H

9、MM和SVM的结合达到了很好的效果。2.3文字/手写体识别贝尔实验室对美国邮政手写数字库进行的实验，人工识别平均错误率是2.5%，专门针对该特定问题设计的5层神经网络错误率为5.1%(其中利用了大量先验知识)，而用3种SVM方法(采用3种核函数)得到的错误率分别为4.0%、4.1%和4.2%，且是直接采用16×16的字符点阵作为输入，表明了SVM的优越性能。手写体数字0～9的特征可以分为结构特征、统计特征等。有关科研人员在UK心理测试自动分析系统中组合SVM和其他方法成功地进行了手写数字的识别实验。另外，在手写汉字识

10、别方面，高学等提出了一种基于SVM的手写汉字的识别方法，表明了SVM对手写汉字识别的有效性。2.4图像处理(1)图像过滤。一般的互联网色情图像过滤软件主要采用网址库的形式来封锁色情网址或采用人工智能方法对接收到的中、英文信息进分类。由于SVM的训练需要大量的存储空间，并且非线性行分析甄别。有关科研人员提出一种多层次特定类型图像过滤法，即以SVM