支持向量机在模式分类中的应用

《支持向量机在模式分类中的应用》由会员上传分享，免费在线阅读，更多相关内容在应用文档-天天文库。

1、支持向量机在模式分类中的应用谢骏胡均川笪良龙（海军潜艇学院战术水声环境数据中心，山东青岛266071）摘要：介绍了支持向量机的基本思想，依据是否引入核函数，是否具有惩罚因子，支持向量分类算法被分为线性分界面硬间隔、线性分界面软间隔、非线性分界面硬间隔和非线性分界面软间隔四类，并讨论了它们的数学模型。以RBF为核函数的非线性支持向量机对2类2维样本进行的仿真分析，并与最近邻法分类结果进行了比较，结果表明支持向量机分类能力受核函数参数影响较大，当选取适当参数时，其分类性能与最近邻法相当。关键词：特征提取；最近邻分类法；支持向量机；模式分类中图分类号：TP391.4文献标识码：A文章编号：T

2、heApplicationofSupportVectorMachinesinPatternClassificationXIEJun，HUNJunchuan，DALianglong(NavalSubmarineAcademy，QingDao266071,China)Abstract：Thefoundationsofsupportvectormachinesareintroduced.FourmathematicsmodelsofsupportvectorclassificationsincludinglinearlyhardmarginSVM,linearlysoftmarginSVM,

3、non-linearlyhardmarginSVMandnon-linearlysoftmarginSVMarediscussed.Comparisonbetweennon-linearlySVMclassificationwithRBFkernelandnearestneighbourclassificationfora2-dimensionfeaturedatasetwhichcontainstwotypes.TheresultsshowthattheclassificationperformanceofSVMisaffectedbykernelfunctionparameter.

4、theclassificationperformanceofSVMisequivalentwithnearestneighbourclassificationwhilekernelfunctionparameterisselectedappropriately.Keywords：featureabstract;nearestneighbourclassification;supportvectormachines;patternclassification1、引言在模式识别领域如何设计一种具有较好泛化能力的优良分类器一直以来是个备受关注的问题。传统的模式识别或人工神经网络方法都都是以大

5、样本统计理论为基础的，而许多实际问题中常常面对的是小样本。如何从小样本集出发，得到泛化能力较好的模型，是模式识别研究领域内的一个难点。Vapnik[1]等人早在20世纪60年代就开始研究有限样本情况下的机器学习问题，但这些研究长期没有得到充分的重视。近十年来，有限样本情况下的机器学习理论逐渐成熟起来，形成了一个较完善的统计学习理论（SLT）体系。而同时，神经网络等较新兴的机器学习方法的研究则遇到一些重要的困难，比如如何确定网络结构的问题、过拟合与欠拟合问题、局部极小点问题等。在这种情况下，试图从更本质上研究机器学习的SLT体系逐步得到重视。1992－1995年，在SLT的基础上发展了支

6、持向量机（SVM）算法[1]，在解决小样本、非线性及高维模式识别问题中表现出许多特有的优势。尤其是在非线性支持向量机中通过引入核函数，将原始空间的非线性问题转化为特征空间的线性问题来求解，而且核方法的引入从理论上较好的解决了经验风险最小化原则下统计学习的一致性条件，在这基金项目：国防预研基金，51303060403-01；新世纪优秀人才支持计划NCET。作者简介：谢骏(1976-),男,安徽颍上,汉,博士生,讲师,研究方向为声纳环境效应仿真、水下目标特性分析。些条件下关于统计学习方法泛化性的界，在这些界的基础上建立小样本归纳推理原则，以及在此原则下如何构造学习算法等统计学习的基础理论问

7、题。2、支持向量机分类器的几种数学模型支持向量机最初思想是对于线性可分问题如何寻求最优分类面，对于特征空间中线性可分问题，最优分类面就是间隔最大的分界面，根据上述核理论的分析可知，它的确是在保证样本被正确分类前提下，具有最好泛化能力的分界面。对于特征空间中线性不可分问题，可通过一个惩罚因子来综合考虑间隔和松弛因子的影响。根据面对的不同问题和采取的不同优化策略可将解决分类问题的支持向量机分为如下四类。2.1线性分界面硬间隔当在原始空间中分界面是线