模式识别中支持向量机方法研究

《模式识别中支持向量机方法研究》由会员上传分享，免费在线阅读，更多相关内容在教育资源-天天文库。

1、模式识别中支持向量机方法研究摘要：模式识别的目的是将对象进行分类，被分类的对象因应用邻域的不同而不同，一般统称为“模式”，而“模式识别”也被称为“模式分类”。一般的模式识别系统可以分为传感器、分割、特征提取、分类器及后处理等部分，其中实现对“模式”进行分类的部分为分类器，系统中分类器的作用是根据特征提取器得到的特征向量来给对象或者模式赋一个类别标号。本课程论文重点介绍支持向量机（SupportVectorMachine，SVM）分类器的原理及应用。关键词：模式识别支持向量机（SVM）0.引言Vapnik[1]等人早在20世纪60年代就开始研究有限样本情况下的机器学习问题，由于当时这些研究尚不十

2、分完善，在解决模式识别问题中往往趋于保守，且数学上比较难处理，而直到90年代以前并没有提出能够将其理论付诸实现的较好方法。加上当时正处在其他学习方法飞速发展的时期，因此这些研究一直没有得到充分的重视。直到90年代中，有限样本情况下的机器学习理论研究逐渐成熟起来，形成了一个较完善的理论体系——统计学习理论。而同时，神经网络等较新兴的机器学习方法的研究则遇到了一些重要的困难，例如如何确定网络结构问题、过学习和欠学习问题、局部极小点问题等。在这种情况下，试图从更本质上研究机器学习问题的统计学习理论逐步得到重视。1992年~1995年，在统计学习理论的基础上发展出了支持向量机学习方法。1.统计学习理论

3、的核心内容机器学习的目的是根据给定的已知训练样本估计输入输出之间关系，并对新输入的未知输出做出尽可能准确的判断。机器学习问题可以形式化地表示为：已知变量与输入之间存在一定的未知依赖关系，即存在一个未知的联合概率，机器学习就是根据个独立同分布观测样本，在一组函数中求一个最优的函数，使预测的期望风险最小，的定义如式。其中，称作预测函数集，为函数的广义参数，故可以表示任何函数集；为由于用对进行预测而造成的损失。在实际的机器学习问题中，只能利用已知样本的信息，因此期望风险无法直接计算和最小化。根据概率论中大数定律定理的思想，人们自然想到用算术平均代替上式的数学期望，于是定义了：由于是用已知的训练样本（

4、即经验数据）定义的，因此称作经验风险。用对参数求经验风险的最小值代替求期望风险的最小值，就是所谓的经验风险最小化原则。在样本数较多的情况下，可以用经验风险最小化的最优值来估计实际的最优值，但是当样本数较少时，这个估计是不准确的。统计学习理论提供了一种在小样本情况下，使极小化的同时，控制VC维（模型复杂性）的方法，即对于给定的有限样本，选择最佳模型复杂性的方法。首先把函数集分解为一个函数子集序列，使其具有一种嵌套结构，即：其中为函数集的子集（元素），其VC维为有限的，在此结构中嵌套子集按其复杂性，即VC维的大小顺序排列，有：这样，在同一个子集中，置信范围是相同的。在每个子集中寻找最小经验风险，通

5、常它随着子集复杂度的增加而减小。选择最小经验风险与置信范围之和最小的子集，就可以达到期望风险的最小，这个子集中使经验风险最小的函数就是要求的最优函数。这种思想称作结构风险最小化原则。结构风险最小化的示意图如图1所示。图1结构风险最小化示意图[2]SVM使用的算法是找出一种特殊的函数集，其结构中每一个子集的经验风险都等于0或一个非常小的数，然后求出使置信区间为最小的一个子集，则该子集的实际期望风险为极小。1.SVM原理考虑线性可分的情况，给定有个样本的训练集合，其中，第个输入数据对应第个输出数据是类标。定义判别函数：这个判别函数是维矢量空间中的一个超平面，也称作分界面，其中是矢量的内积。以图2中

6、的二维情况为例，有许多个判别函数可以将图中的两类样本分割开来，但只有一个超平面可以将两类样本中离超平面最近的样本点距离超平面距离之和最大，这个超平面就是最优超平面，如图2中绿色的粗线条。图2超平面示意图为了寻找最优超平面，应该从超平面的定义式开始考虑。首先要使超平面能将和的两类样本正确区分，就必须选择适当的，使样本满足下列条件：可以改写为：任意一个样本点到分界面的距离为：若存在一个，对任意样本都有：则称为判别函数的余量，它表示样本点与分界面之间的最小距离。当余量达到最大值时，该分界面就是最优超平面。从上式可以看出，余量越大即表示越小，因此求最优分界面的问题可以表述为下列二次优化问题:对于给定的

7、训练样本及类标，求使下列二次泛函取极小值的。约束条件：对于这样一个二次规划问题，通常转换成与其对应的Lagrange对偶问题来求解，该对偶问题可以用标准的二次规划方法求解。设对偶问题的解为，最优分界面的参数有：由上式可以看出，仅当即约束条件取等号时，才能取非零的数值，所对应输入矢量称为支持向量。如图3所示。因此最优界面参数中的求和只需对支持向量进行：其中为支持向量个数，通常，公式（3.24）表明，