支持向量机在多类分类问题中的推广

《支持向量机在多类分类问题中的推广》由会员上传分享，免费在线阅读，更多相关内容在行业资料-天天文库。

1、万方数据支持向量机在多类分类问题中的推广刘志刚1李德仁2秦前清2史文中，1(武汉大学遥感信息工程学院，武汉430079)．2(武汉大学测绘遥感信息工程国家重点实验室，武汉430079)3(香港理I大学土地测量与地理咨询系地球信息研究中o，香港)E—mail：web

2、zg@263．net摘要支持向量机(SVMs)最初是用以解决两类分类问题，不能直接用于多类分类，如何有救地将其推广到多类分类问题是一个正在研究的问题。谊文总结了现有主要的支持向量机多娄分类算法．系统地比较了各算法的训练速度、分类速度和推广能力，并分析它们的不足和有待解决的问题。关键词支持向量机多类分

3、类多类支持向量机文章编号1002—8331一(2004)07—0010-04文献标识码A中图分类号TPl81AnAnalyticalOverviewofMethodsforMulti-categorySupportVectorMachinesLiuZhigan91LiDeren2QinQianqin92ShiWenzhon931(SchoolofRemoteSensingandInformationEngineering，WuhanUniversity，Wuhan430079)2(NationalLaboratoryofInformationEngineeri

4、nginSurveying，MappingandRemoteSensing，WuhanUniversity，Wuhan430079)3(AdvancedResearchCentreforSpatialInformationTechnology，DepartmentofLandSurveyingandGeo-Informatics，theHongKongPolytechnieUniversity，HongKong)Abstract：SupportVectorMachines(SVMs)isoriginallydesignedforbinaryclassifica

5、tion．Howtoeffectlvelyextenditformulti-categoryclassificationisstillEtnD／1一goingresearchissueThispaperpresents8genera]overviewofexistingrepresentativemethodsformuhi—categorysupportvectormachinesandsystematicallycomparestheirperformances．includingtrainingspeed，classificationspeedandge

6、neralizationability．Thedisadvantageandunsolvedproblemofthesemethodsatealsogiven．Keywords：SupperVectorMachines，Multi—categoryCIassification，M-SVMs1前言最初SVM是用以解决两类分类问题，不能直接用于多类分类，如何有效地将其推广到多类分类问题还是一个正在研究的问题。当前已经有许多算法将SVMs推广到多类分类问题．这些算法统称为“多类支持向量机”(Mtthi呻ategorySupportVectorMachines．M—s

7、vMs)。它们可以大致分为两大类：(1)通过某种方式构造一系列的两类分类器井将它们组合在一起来实现多类分类；(2)将多个分类面的参数求解台并到一个最优化问题中．通过求解该最优化问题“一次性”地实现多类分类(如：文献【l】[2])。第二类方法尽管看起来简洁，但是在最优化问题求解过程中的变量远远多于第一类方法，训练速度不及第一类方法，而且在分类精度上也不占优131。当训练样本数非常大时，这一问题更加突出。正因如此．第一类方法更为常用。该文仅对第一类方法进行讨论。2现有多类支持向量机算法多类分类问题可以形式化地表述为：给定属于^类的m个训练样本(xl，Y1)，⋯(‰

8、，h)．其中z，∈R4，i=1，⋯．m，且*∈{1，⋯kl，要通过上述训练样本构造一个分类函数．，，使对未知样本x进行分类时的错误概率(或者造成的损失)尽可能小。下面分别简单地介绍用SVM解决多类分类问题的现有主要方法。2．11-v-rSⅧs用SVM解决多类分类问题最早的方法可能就是1_Y—RSVMs(One—versus—Rest)算法H。该方法依次用一个两类SVM分类器(后面简称分类器)将每一类与其它所有类别区分开来，得到1个分类函数。分类时将未知样本分类为具有最大分类函数值的那类。2．21—v一1S、Ms该方法在每两类问训练一个分类器，因此对于一个k类问

9、题，将有k(k-I)／2个分类函数。当