基于核的学习机研究综述

《基于核的学习机研究综述》由会员上传分享，免费在线阅读，更多相关内容在教育资源-天天文库。

1、万方数据第27卷第6期2010年6月计算机应用研究ApplicationResearchofComputersV01．27No．6Jun．2010基于核的学习机研究综述木王涛，李艾华，蔡艳平，王声才(第二炮兵工程学院机械电子工程系，西安710025)摘要：近年来核学习机已经成为机器学习界的一个热点问题，并在许多领域中得到了成功应用；然而作为一种尚未成熟的新技术，核学习机仍然存在很多局限性。介绍了核方法的基本思想，从有监督和无监督学习算法两方面对基于核的学习机进行了梳理，着重指出了核学习机研究中存在的问

2、题和值得关注的研究方向，以期对核方法研究领域有较全面的把握。关键词：核方法；有监督学习算法；无监督学习算法；支持向量机中图分类号：TPl8文献标志码：A文章编号：1001．3695(20LO)06．2011．05doi：10．3969／j．issn．1001—3695．2010．06．003Kernel-basedlearningmachinesresearchoverviewWANGTao，LIAi—hua，CAIYah-ping，WANGSheng-cai(Dept．ofMechanical＆El

3、ectronic，TheSecondAndleryEngineeringCollege，藏’∞710025，Ch／na)Abstract：ItisbelievedthatthestudyofkernelmethodsiSbecominganewhotareainthefieldofmachinelearningrecently．Kemelmethodshavebeenappliedinmanyfieldssuccessfully．But船aHewtechnique．therearestillplent

4、yoflimitationsinkernel—basedlearningmachines．11lispaperfirstlyanalyzedthebasicideasofkernel—basedlearningmachinesthenprovided锄introductiontosomekindsofkernellearningmachinesdevelopedrecentlyfromsupervisedlearningandunsupervisedlearning．Pointedoutthekeyi

5、ssuesandthefutureresearchdirectionsonkernellearningmachinesfinally．Itisexpectedtounderstandkernelmethodscomprehensively．Keywords：kernelmethods；supervisedlearningalgorithm；unsupervisedlearningalgorithm；supportvectormachine0引言统计学习理论(statisticallearningthe

6、ory，SLT)是一种专门的小样本统计理论，是Vapnik⋯针对有限样本下的机器学习问题的研究成果。1995年，Vapnik等人口1在此基础上又发展出了一种新的模式识别方法——支持向量机(supportvectormachine，SVM)，在解决小样本、非线性以及高维模式识别问题中表现出许多优势，并能够推广应用到函数拟合等其他机器学习问题中。SVM最初是从线性可分情况下的最优分类面提出的，针对线性不可分的情况，它通过引入核函数实现了线性到非线性之间的变换，同时回避了维数灾难，也没有增加计算复杂度。借鉴

7、这一思想，研究者们对一些只涉及样本间内积运算的机器学习方法进行了改造，用事先定义的核函数取代内积，得到了与该学习方法对应的核方法(kernelmethod，KM)。核方法或称核学习机是基于核函数的机器学习方法的简称【3J。核方法作为一种由线性到非线性之间的桥梁，本身并不是一门新技术，而是起源于20世纪初叶MercerH3发表的经典论文，其在模式识别中的应用可追溯到1964年”1。然而直到近年来，随着统计学习理论和支持向量机成为国际上机器学习领域中堑盟堡究热点，核方法才日益受到研究人员的重视№栅]。1核

8、方法的理论基础1．1核方法的基本原理核方法的基本原理‘31如图1所示。输入空间R特征空间，图1核空间的基本理论通过一个非线性映射函数妒(并)可将输入空间刖映射到高维特征空间F，从而使得输入空间中的非线性或线性不可分问题在特征空间中能够进行线性分类。其中，映射函数妒(茗)定义为p(x)：¨，，xE冠(1)但由于计算复杂度和存储空间的限制，使得在特征空间，中直接寻找分类面的问题无法进行。核方法利用核函数K(菇，，，)为解决该问题提供了一种可行的思路。核函数定